2024年9月22日周日晚上八点,由元宇宙产业委(“中国移动通信联合会元宇宙产业工作委员会”的简称)指导,元宇宙产业委副主任委员兼联席秘书长、物链芯工程技术研究院元宇宙研究所所长叶毓睿创办的“燕园叶话”《元宇宙十大技术》培训班进行到第78期。微信视频号 乐生活与爱IT、央链直播、DOIT、web3马甲哥、卢米宇宙、iCloser 社交元宇宙、智能制造万里行、大数据百家讲坛、卢山说AI精进、亿欧、察访区块链、编程老师傅-李明宇 等媒体直播或转载。客座嘉宾李明宇讲解《AI大模型在软件开发领域的应用实践》。本期超11759人在线观看。
错过直播的朋友,可以在央链直播平台观看回放
物链芯工程技术研究院元宇宙研究所所长叶毓睿佩服李老师。没想到AI辅助编程,现在能做到这么高的程度。这让叶毓睿感觉AGI没有想象中的那么远。期待着李老师这个CodeGraphRAG能够造福更多程序员。
乐生活与爱IT Plus,输入0922
这个会议纪要由腾讯云录制自动生成,乐生活与爱IT Plus 编者略有修改,如有错误,还请见谅。
AI模型在游戏开发中的应用
这段内容主要讲述了AI模型在游戏开发中的应用。在24年4月份,讲者发现大模型具备了生成小游戏代码的能力,如贪吃蛇、俄罗斯方块等。到今年9月份,OpenAI o1已经能够达到国际信息学奥赛金牌分数线,其得分是通过重复答题一万次取最高分得来的。虽然AI在提交次数上(甚至成千上万次)具有优势,但这在某种程度上对人类不公平。总之,AI在游戏开发中的应用正在不断进步。
找松鼠游戏与AI模型需求分析
主要介绍了一个名为“找松鼠”的游戏,该游戏虽然简单,但包含了十条需求,包括业务需求、UI设计、软件质量等方面。OpenAI官方表示,除了o1,目前没有任何一个大模型能够完全满足这十条需求。会议还提到了OpenAI的GPT-4o在实现这个游戏时出现了bug,每秒钟出现三个草莓,而实际上应该只出现一个。按照OpenAI官方的说法,这是因为GPT-4o没有完全遵循其中的某一条需求。
自我博弈强化学习在AI中的应用
这段内容主要讲述了自我博弈强化学习在大模型中的应用。通过让大模型自我检查代码,发现并改进bug,提升游戏的可玩性。虽然o1大模型在某些场景下表现不如之前的GPT-4o,但在80%的情况下,o1的表现已经优于GPT-4o了。此外,大模型在处理严谨逻辑性较强的任务时表现更好,如分析用户行为日志,帮助产品改进。但需要注意的是,o1在的通用能力可能不如4o。
大模型在编程中的应用与挑战
主要讲述了大模型在编程助手工具中的应用,如GPT-4和o1等。在实际工作中,程序员的工作场景主要是集成开发环境(IDE),如VS Code。微软推出的编程助手工具Copilot可以根据程序员的代码推测意图,帮助补全代码,从而提高开发效率。然而,实际工作中程序员仍然经常会跳出IDE上ChatGPT或Google寻求帮助。
AI辅助程序员的工作效率提升
这段内容主要讲述了AI在编程过程中的应用。AI可以根据程序员的意图自动提示代码,提高编程效率。例如,当程序员在编写代码时,AI可以自动识别并补充缺失的代码,如拼接字符串、使用join方法等。此外,AI还可以帮助程序员解决一些技术难题,如查询数据库、处理算法分析结果等。这种情况下,对程序员各项技能的价值评估和工作效率结果考评可能会发生微妙的变化。
AI在软件研发中的应用与挑战
这段内容主要讲述了在过去半年时间里,团队发现尽管有了大模型和编程助手,但仍有许多程序员需要借助GPT或其他工具来解决问题。同时,研发团队的管理方式仍然停留在传统模式,缺乏AI助手。为了解决这些问题,团队推出了TO C和TO B两款产品,旨在将软件研发过程与大语言模型深度融合。产品中采用的智能体(AI Agent)技术在决策制定和推理方面发挥重要作用,可以拆分复杂任务并推进。
OpenAI o1模型与智能体的差异性
讨论了OpenAI o1是否为智能体的问题,指出OpenAI o1与智能体的差异性较大,虽然它们有相似之处。过去智能体的自我planning(规划)能力较差,需要人工指导,而OpenAI o1在这方面有了显著进步。此外,会议还提到了业务场景中工作流的复杂性,以及人工定义思维链在实际应用中的重要性。尽管如此,一些研发人员对OpenAI o1的评价并不高,认为它并没有达到预期。
AI在复杂问题解决中的应用挑战
这段内容主要讲述了在很多实际业务中,智能体的自我planning或reasoning能力与人工打造思维链或工作流相比,可能没有特别明显的优势。但在那些缺乏人工开发智能体去处理复杂问题的场景中,智能体的帮助就比较大。此外,智能体的另一个特点是接入到企业的业务系统中,如ERP系统、生产管理系统、物流管理系统等。
AI智能体在软件开发中的应用
主要讲述了智能体在软件开发领域的应用。智能体能够自动调用代码仓库、进度管理和Issue追踪等系统,帮助管理者更好地管理研发流程。同时,智能体还能帮助开发者分析代码,提高工作效率。在实际工作中,智能体还可以用于审查团队开发的成果代码,提高软件质量和进度。通过开发一系列智能助手,可以帮助企业、研发团队和管理者更好地管理研发流程,提高工作效率。
AI应用开发平台介绍
通过展示对一个名为"Dify"的软件的分析展示了Eagle智能体的能力,它是一个开源的应用开发平台,主要用于AI大模型应用的原型开发到生产部署。Eagle的特点是自动规划任务,但整体工作流仍需人工设计。与o1不同的是,Eagle支持接入外部工具,并在某些步骤上进行判断和评价。此外,Eagle还具有重试机制,可以根据结果调整后续计划。
工作流程与代码规模的关系
主要讲述了如何通过算法从代码中分析出各个部分之间的关联关系,构建一个graph。由于大型语言模型如o1的上下文窗口长度限制,无法通读整个项目代码。因此,需要通过技术克服这个问题。同时,会议通过如何告诉新员工工作流程和方法,以及如何让他们自己判断下一步该怎么做来类比Agent的Workflow。
代码分析与搜索优化
讨论了代码分析的难点和解决方案。难点在于如何通过自然语言搜索找到具体的代码,而解决方案是通过分析代码并建立代码与自然语言关键词之间的关联关系,以便用户提出任何问题都能得到回答。例如,在俄罗斯方块游戏中,可以通过分析梯形积木的实现方式来找到相关的代码。此外,还提到了开源项目的复杂性和代码量级,以及如何通过工具减少寻找搜索的时间和工作量。
Eagle算法优化与项目开发经验分享
主要讲述了Eagle To C服务和To B项目中算法的区别,以及项目的开发过程。线上To C的算法相对简单,底层算法较为基础,通过建立索引和调用关系来提高效率。To B企业业务涉及的项目数量较少,而To C线上服务涉及的开源项目范围较广。目前,源码尚未开源,但已有几千用户在使用。项目的开发团队不到十人,主要由京兆人公司资助。
Eagle的优势和应用场景
李明宇老师是国内基于OpenStack体系做对象存储(Swift)开发的Top3,甚至Top 1。在AI大模型方面他们开发的工具Eagle可以支持对代码库的自然语言提问,准确率达到95%以上。这个工具的应用场景包括代码疑难解答、开源项目的选型、开源项目二次开发等。此外,这个工具还可以帮助甲方更好地验收项目,提高验收效率。
代码审查与优化的探讨
本段内容主要讨论了代码自动审查的适用范围和效果。首先,代码自动审查适用于软件研发、硬件设计、硬件制造等不同领域,具有一定的通用性。但在特定领域如金融、电信、石油能源等,可能需要进行定制化处理。其次,代码自动审查可以提高代码质量,减少人工检查的成本和时间。然而,对于一些潜在问题较多的代码,如大量使用拼音缩写,效果可能不佳。最后,代码自动审查还可以适配到国内开源的大模型底座上,提高效率。
代码评审与智能体的应用实践
程序员工作压力大,代码维护性影响大,项目时间越长,问题积累越多。为了解决这个问题,公司引入了code review机器人,效果非常好。此外,还加入了conversation环节,允许被review的人与大模型对话,挑战其意见。这样的设计激发了更好的代码审查效果,提升了软件质量。同时,也尝试让AI Agent(智能体)自行修复bug或实现新功能,取得了一定进展。
智能体与人类协作的bug修复流程
主要讨论了智能体在构造graph和index过程中的作用,以及如何通过思维链提高生成后续内容的质量。智能体可以根据自然语言描述的项目总体情况,进行初步分析,然后根据需求拆解和设计,生成修改方案。在遇到问题时,智能体会请求人类澄清,并在必要时停下来等待用户输入。这种方法与清华大学的思路相似,都强调了人与智能体的协作。
AI自动修复代码的挑战与展望
讨论了AI自动修复代码的问题,认为这种方式可以解决很大程度上的生产力问题。目前全球最好的效果是在特定数据集上达到40%几,但仍有很长的路要走。同时,提到了在实际工作中,可能需要进一步澄清需求,以及避免AI在分析过程中走偏。此外,还讨论了算力成本的问题,认为解决一个问题比节省算力更为重要。
智能体在软件开发中的应用
讨论了智能体在处理错误信息时的作用。首先,优秀的报错信息可以帮助程序员快速定位问题,提高解决问题的效率。其次,智能体在处理错误时可能与传统软件模块有所不同,可以适当暴露部分错误信息给上游调用它的智能体,让它们自己解决问题。例如,当一个智能体因某种原因死机时,上游智能体可能会主动报告问题并提出解决方案,这有助于提高系统的稳健性。
智能体测试的挑战与解决探索
讨论了智能体在软件研发领域的应用实践,以及测试过程中遇到的问题。由于工作流中的bug处理、大模型切换升级等操作需要进行大量的测试,而智能体的效果评估需要专家来判断,导致专家的时间消耗在测试上,智能体运行本身又比较耗时,导致测试的成本和时间消耗都超出预期。此外,医疗行业的智能体输出效果需要专业人员评估,这也增加了测试难度。会议还提到了自动化测试方法的研究,以及AI大模型在自我博弈方式下的应用。
AI应用场景的探索与思考
与会者讨论了AI的应用场景和落地情况,包括基础架构、应用场景等。他们认为AI在辅助代码开发方面有潜力,但目前尚无标准答案。有人倾向于将AI应用于下沉市场,如陪伴机器人、情感聊天机器人等,但也存在合规性问题。另一方面,有人认为AI在复杂场景和高端市场的应用更为重要,如专家建议、辅助决策等方面。与会者对此持有不同观点,但总体认为AI在特定领域的应用是有潜力的。
AIGC实践与编程工具分享
腾讯会议中卢山老师分享了AIGC的实践经验,并回答了网友关于编程工具的问题。卢山老师表示,国内有很多编程工具,如文心快马、通意灵马、原编程AI agent等,但最好是自己或团队亲测过的。此外,作为对卢老师提问的回应,李老师分享了关于AI agent的看法,将其分为两个层级或三个层级,并认为目前市场上的AI工具在执行复杂任务方面还存在一定难度,需要对软件开发有一定的理解和掌握。
AI代码审查的准确度判断
讨论了AI在代码审查和补全中的应用,以及如何判断AI生成的代码是否准确。对于代码审查,不能完全依赖机器准确判断,目前仍需专家参与。而对于代码补全,由于生成内容较少,对准确度要求较高,可以利用基于规则的工具和单元测试等手段来辅助判断。最后,通过这些工具反馈给AI,让AI去修复和修改生成的内容。
AI在开发测试中的应用与挑战
讨论了AI在测试工程师工作中的应用,以及如何判断用户提出的问题是否正确。目前,AI在判断对错方面还存在一些问题,但大模型在能力提升后,可能能够自行进行判断。此外,会议还探讨了AI辅助编程的问题,指出Eagle不是主要面向代码生成应用场景和人群的,而是关注于代码生成之外的其他场景。最后,提到了国外的一款名为Cursor的IDE开发环境,它可以通过对话式的方式帮助用户编写代码。
多智能体的实践与思考
讨论了多智能体的分工和规划设计。最初的想法是按照岗位分工,但研究发现这种方式并不理想。后来,他们按照角色去分,有时候在技术实现上会根据效果进行切分。智能体到底怎么分,一个指导性原则是参考微服务中的领域驱动设计,按照领域去做规划和设计。
代码问题解答与研发管理助手
介绍了一款软件Eagle,其核心功能是项目代码的解读和智能问答。这款软件可以帮助程序员解决工作中遇到的问题,提高工作效率。此外,该软件未来还计划将Stack Overflow上的帖子、文章以及历史已关闭的issue构建成知识库,方便用户查询。在企业端,Eagle将集成更多的企业内部工具与平台,作为研发管理的copilot,帮助企业加快研发进程,产生更多有创意的东西。
AI在研发管理中的应用探索
讨论了如何通过大模型辅助开发人员查看代码库,识别潜在问题,提高工作效率。同时,大模型还可以帮助研发团队与产品部门进行优先级判断,提供数据支撑。此外,大模型还可以接入企业研发管理工具,如代码库、需求管理工具等,为企业提供更好的服务。会议还探讨了AI在智能制造开发领域的应用,并提出了从To B角度考虑的落地场景。
大模型在场景应用中的挑战与应对
讨论了大模型在To B场景中的应用,认为适合的场景很多,但落地困难。大模型的准确度是一个关键问题,很多人对大模型的期望超过了其原理所能达到的范畴。在业务设计中,可以容忍一定的错误,通过业务设计放大带来的收益。现在的大模型项目更像是招聘一个人,而不是购买一个机器。在推进大模型项目时,应该从业务角度评估其能解决的问题和效果,对错误有一定的容忍度。
大模型项目的挑战与展望
讨论了大模型项目在知识库检索和知识问答方面的应用,指出准确率问题是大模型落地的一个大问题。同时,主持人叶毓睿强调了在实际应用中,大模型不应该被过度依赖,而应该被视为一个启发伙伴。最后,预告了下一期讲座,邀请了钱老的学生常远教授将在2024年9月29日(周日) 20:00分享《 “大成利器,学森用广”——做“灵境时代”具有“大成智慧”的更高价值实现者》,并提供了腾讯会议和微信群的参会方式。固定的两种参会方式如下:
1、腾讯会议 461-6093-5479
2、 B站 http://live.bilibili.com/32509301
下期课程预告:
燕园叶话·元宇宙沙龙系列第79期(9月29日,周日晚8点)
常远《 “大成利器,学森用广”——做“灵境时代”具有“大成智慧”的更高价值实现者》
常远教授:钱学森学派生命系统工程团队、社会系统工程团队成员,千善基金会理事长。
曾任:(钱学森、张震寰发起)人体科学“PI计划”负责人,中央政法管理干部学院法治系统工程中心主任,西北工业大学资源与环境信息化工程研究所教授、所长,中国航天社会系统工程实验室理事,中国航天系统科学与工程研究院科技委顾问、钱学森决策顾问委员会委员、人类健康系统工程委员会执行主任兼秘书长等。
观众请长期保存,如下的两种参会方式:
1、腾讯会议 461-6093-5479
2、 B站 http://live.bilibili.com/32509301
元宇宙产业委《元宇宙十大技术》培训班是由元宇宙产业委副主任委员兼联席秘书长、物链芯工程技术研究院元宇宙研究所所长、先进计算产业发展联盟智能计算组组长叶毓睿发起和创办的。叶毓睿长期关注区块链、VR/AR、AIGC、数字孪生、3D内容创作平台或规范(如Web3D、WebXR)等元宇宙等前沿技术领衔参与撰写的《元宇宙十大技术》一书系统地剖析了构成元宇宙的技术组成、原理、案例和未来趋势。他领衔并邀请了十多位领域的Top级专家撰写的《元宇宙十大技术》一书,系统地剖析了构成元宇宙的核心技术要点,该书得到了包括朱嘉明、肖风、姚前及四位院士等70多位资深专家的联袂推荐。 通过“燕园叶话”这个平台,叶毓睿希望能够推动元宇宙技术在社会各界的交流与普及。《元宇宙十大技术》一书为这个系列活动提供了理论基础和技术支撑。同时,叶毓睿还积极运用自己的人脉资源,邀请国内外元宇宙领域的专家学者前来主讲,保证了内容的专业性和前瞻性。截止2024年9月22日,已经举办了第78期,促成了不少合作,欢迎关注、转发。通过关注视频号 乐生活与爱IT,可以查看过往回放。
元宇宙产业委《元宇宙十大技术》培训班目前主要以线上形式(腾讯会议+视频号)展开,并邀请了13+媒体伙伴们一起转播、转载,通常每次在线观看人数4000~41000不等,也是受访嘉宾及其所在公司的良好展示平台。该品牌系列活动的创办,是元宇宙产业委和叶毓睿推动元宇宙产业发展、促进元宇宙技术交流的重要举措之一。 《元宇宙十大技术》培训班的举办,是元宇宙产业委为推动元宇宙技术交流、促进产业发展作出的重要努力。通过持续邀请专家学者主讲,剖析元宇宙技术,和介绍应用场景或案例,使广大公众对元宇宙有了更深入的了解,也增强了对元宇宙发展的信心。可以预见,这一系列活动有望对元宇宙产业链培育人才、推动技术创新、规范产业发展起到积极的推动作用。我们期待它能够发挥引领示范效应,推动元宇宙产业健康快速发展。