美文网首页
metaGPT论文

metaGPT论文

作者: sknfie | 来源:发表于2024-09-22 11:59 被阅读0次

摘要

基于大型语言模型 (LLMs) 的社会代理在自动问题解决方面取得了显著进展。现有的基于 LLM 的多代理系统能够解决简单的对话任务。然而,由于简单地将 LLM 连锁起来导致的级联幻觉,导致逻辑不一致,使得更复杂任务的解决方案变得复杂。在这里,我们引入了 MetaGPT,这是一个创新的元编程框架,它将高效的人类工作流程融入到基于 LLM 的多代理协作中。

MetaGPT 将标准化操作程序 (SOP) 编码为提示序列,以实现更流畅的工作流程,从而允许具有类似人类领域专业知识的代理验证中间结果并减少错误。MetaGPT 利用装配线范式将不同的角色分配给各种代理,有效地将复杂任务分解为涉及多个代理协同工作的子任务。在协作软件工程基准测试中,MetaGPT 生成的解决方案比以前的基于聊天室的多代理系统更连贯。我们的项目可以在 https://github.com/geekan/MetaGPT 找到。

1. 引言

利用大型语言模型 (LLMs) 的自主代理为增强和复制人类工作流程提供了有希望的机遇。然而,在现实世界应用中,现有系统(Park 等人,2023;Zhuge 等人,2023;Cai 等人,2023;Wang 等人,2023c;Li 等人,2023;Du 等人,2023;Liang 等人,2023;Hao 等人,2023)往往过于简化复杂性。它们难以实现有效、连贯和准确的问题解决过程,尤其是在需要有意义协作交互的情况下(Zhang 等人,2023;Dong 等人,2023;Zhou 等人,2023;Qian 等人,2023)。

通过广泛的协作实践,人类在各种领域(Belbin,2012;Manifesto,2001;DeMarco & Lister,2013)中开发了广泛接受的标准化操作程序 (SOP)。这些 SOP 在支持任务分解和有效协调方面发挥着关键作用。此外,SOP 列出了每个团队成员的责任,并为中间输出建立了标准。明确定义的 SOP 提高了与定义的角色和质量标准相符的任务的执行一致性(Belbin,2012;Manifesto,2001;DeMarco & Lister,2013;Wooldridge & Jennings,1998)。例如,在软件公司中,产品经理分析竞争和用户需求,使用标准化结构创建产品需求文档 (PRD),以指导开发过程。

受此想法的启发,我们设计了一个名为 MetaGPT 的有希望的基于 GPT 的元编程框架,它极大地受益于 SOP。与其他工作(Li 等人,2023;Qian 等人,2023)不同,MetaGPT 要求代理生成结构化输出,例如高质量的需求文档、设计工件、流程图和接口规范。使用中间结构化输出可以显着提高目标代码生成的成功率。更直观地说,在由 MetaGPT 模拟的公司中,所有员工都遵循严格和流畅的工作流程,并且所有他们的交接都必须符合某些既定标准。这降低了由 LLM 之间的闲聊引起的幻觉风险,尤其是在角色扮演框架中,例如:“嗨,你好吗?”——爱丽丝(产品经理);“太棒了!你吃午饭了吗?”——鲍勃(架构师)。

受益于 SOP,MetaGPT 为元编程提供了一种有希望的方法。在这种情况下,我们采用元编程1作为“编程以编程”,与元学习和“学习以学习”的更广泛领域形成对比(Schmidhuber,1987;1993a;Hochreiter 等人,2001;Schmidhuber,2006;Finn 等人,2017)。

这种元编程的概念也包括早期的努力,如 CodeBERT(Feng 等人,2020)以及最近的 CodeLlama(Rozière 等人,2023)和 WizardCoder(Luo 等人,2023)等项目。然而,MetaGPT 独一无二,它允许通过一组组织良好的专业化代理进行高效的元编程。每个代理都有特定的角色和专业知识,遵循某些既定标准。这使得在运行时自动进行需求分析、系统设计、代码生成、修改、执行和调试成为可能,突出了基于代理的技术如何增强元编程。

为了验证 MetaGPT 的设计,我们使用公开可用的人类评估 (Chen 等人,2021a) 和 MBPP (Austin 等人,2021) 进行评估。值得注意的是,在代码生成基准测试中,MetaGPT 在 Pass@1 上达到了新的最先进水平 (SoTA),分别为 85.9% 和 87.7%。与其他流行的创建复杂软件项目的框架相比,例如 AutoGPT (Torantulino 等人,2023)、LangChain (Chase,2022)、AgentVerse (Chen 等人,2023) 和 ChatDev (Qian 等人,2023),MetaGPT 在处理更高水平的软件复杂性和提供广泛的功能方面也表现出色。值得注意的是,在我们的实验评估中,MetaGPT 实现了 100% 的任务完成率,证明了我们设计的鲁棒性和效率(时间和令牌成本)。

我们将我们的贡献总结如下:

  • 我们引入了 MetaGPT,这是一个基于 LLM 的多代理协作元编程框架。它非常方便和灵活,具有明确定义的功能,如角色定义和消息共享,使其成为开发基于 LLM 的多代理系统的一个有用平台。
  • 我们在 MetaGPT 设计中创新地整合了类似人类的 SOP,这显着提高了其鲁棒性,减少了基于 LLM 的代理之间的低效协作。此外,我们引入了一种新颖的执行反馈机制,在运行时调试和执行代码,显着提高了代码生成质量(例如,在 MBPP 上提高了 5.4% 的绝对改进)。
  • 我们在 HumanEval (Chen 等人,2021a) 和 MBPP (Austin 等人,2021) 上取得了最先进的性能。广泛的实验结果有力地验证了 MetaGPT,表明它是一个有希望的元编程框架,用于开发基于 LLM 的多代理系统。

2. 相关工作

自动编程

自动编程的根源可以追溯到上一个世纪。1969 年,Waldinger & Lee (1969) 引入了“PROW”,这是一个设计用来接受用谓词演算编写的程序规范、生成算法并创建 LISP 实现的系统 (McCarthy,1978)。Balzer (1985) 和 Soloway (1986) 致力于推进自动编程并确定了实现它的潜在方法。最近的方法使用自然语言处理 (NLP) 技术 (Ni 等人,2023;Skreta 等人,2023;Feng 等人,2020;Li 等人,2022;Chen 等人,2018;2021b;Zhang 等人,2023)。自动编程已经发展成为提供付费功能的行业,例如 Microsoft Copilot。最近,基于 LLM 的代理 (Yao 等人,2022;Shinn 等人,2023;Lin 等人,2023) 推进了自动编程发展。其中,ReAct (Yao 等人,2022) 和 Reflexion (Shinn 等人,2023) 利用思维链提示 (Wei 等人,2022) 生成推理轨迹和 LLM 的行动计划。这两项工作都证明了 ReAct 风格的推理循环作为赋予自动编程能力的设计范式的有效性。此外,ToolFormer (Schick 等人,2023) 可以通过简单的 API 学习如何使用外部工具。与我们的工作最密切相关的是 Li 等人 (2023) 的研究,他们提出了一种简单的角色扮演框架,用于涉及不同角色代理之间通信的编程。Qian 等人 (2023) 利用多个代理进行软件开发。尽管现有论文 (Li 等人,2023;Qian 等人,2023) 已经提高了生产力,但它们并没有充分利用具有结构化输出格式的有效工作流程。这使得处理复杂的软件工程问题变得更加困难。

基于 LLM 的多代理框架

最近,基于 LLM 的自主代理在工业和学术界都引起了极大的兴趣 (Wang 等人,2023b)。许多工作 (Wang 等人,2023c;Du 等人,2023;Zhuge 等人,2023;Hao 等人,2023;Akata 等人,2023) 通过整合多个代理之间的讨论来提高 LLM 的问题解决能力。Stable-Alignment (Liu 等人,2023) 通过在 LLM 代理之间的沙盒中互动,推导出价值判断的共识来创建指令数据集。其他工作专注于社会学现象。例如,Generative Agents (Park 等人,2023) 创建了一个由 25 个代理组成的“城镇”,以研究语言交互、社会理解和集体记忆。在自然语言基于心智的社会 (NLSOM) (Zhuge 等人,2023) 中,具有不同功能的代理通过多轮“头脑风暴”相互交互以解决复杂任务。Cai 等人 (2023) 提出了一个模型,通过将大型模型作为工具制造商和小型模型作为工具用户来降低成本。一些工作强调与规划和策略相关的合作和竞争 (Bakhtin 等人,2022

相关文章

  • 2018-05-08

    论文过了!论文过了!论文过了!论文过了!论文过了!论文过了!论文过了!论文过了!论文过了!论文过了!论文过了!论文...

  • 6.29

    明天继续早起,然后看论文写论文看论文看论文明天继续早起,然后看论文写论文看论文看论文明天继续早起,然后看论文写论文...

  • 论文!论文!

    写论文无疑也是半个折磨,论文里的用语要十分规范,论文中的思路也要特别清晰,语句要一板一眼,不可以用过多的修饰,写论...

  • 论文论文论文!

    生产外包的分类包括OEM、ODM 和 OBM 几种不同的合作模式。其中: OEM(原始设备制造),即原始设备制造商...

  • 推荐系统论文阅读(三十)-微信:深度反馈网络-DFN

    论文: 论文题目:《Deep Feedback Network for Recommendation》 论文地址:...

  • 联系客服

    服务范围:论文写作,职称论文论文发表,论文降重,论文修改,外文翻译等 微信客服: 电...

  • FPN:feature pyramid networks for

    论文:feature pyramid networks for object detection论文链接 论文概述...

  • 推荐系统论文阅读(三)-阿里巴巴个性化重排序算法

    论文原文 论文题目:《Personalized Re-ranking for Recommendation》 论文...

  • 论文论文

    凌晨一点半,我和朋友微信说打算睡觉了。她告诉我,打算一会儿再睡,论文还差400字,大体已经写完了,就等着写了。我也...

  • 【论文】DID论文

    20180710 qzd 1. Convolutional Neural Networks and Languag...

网友评论

      本文标题:metaGPT论文

      本文链接:https://www.haomeiwen.com/subject/ipntrjtx.html