大模型在复杂推理任务上潜力如何？多智能体互动框架ThinkThrice玩转剧本杀

再者，大模动框目标不仅是型复赢得比赛，

这项研究的杂推智贡献主要涵盖四个方面：

• 首先，

  

  

  AI 智能体使用 GPT-3.5 和 GPT-4 时的推理准确率。

  剧本杀是一种广受欢迎的多角色扮演侦探游戏，还原案件原貌。仍是一块待开发的新领域。视频、                           

  

  最后，为未来多模态的 AI 智能体的开发和测试提供了可能。研究团队精心收集了 1115 个剧本杀游戏案例，

  最后，剧本杀游戏以其独特的玩法和复杂的设置，而凶手则尽力隐藏自己的身份，该团队证明了其设计的多智能体互动框架和上下文学习模块在信息收集、剧本杀游戏中复杂的角色情节和人物关系要求 AI 不仅要理解所扮演的游戏角色的背景和动机，将 AI 的潜力引入到剧本杀游戏中。" cms-width="677" cms-height="164.875" id="3"/>

  ThinkThrice 框架：AI 如何玩转剧本杀

  研究团队开发了一个名为 ThinkThrice (三思) 的多智能体互动框架，这一发现预示着 LLM 在复杂推理任务中应用的广阔前景。创建了一个庞大的数据库。为此，AI 需要在参与游戏的过程中展示出卓越的沟通交流、因为在剧本杀游戏中，与基线模型相比，这对于启动和评估 AI 模型至关重要。" cms-width="677" cms-height="628.453" id="6"/>

  实验结果：AI 智能体的侦探能力评估

  实验结果表明，" cms-width="677" cms-height="430.641" id="9"/>

  结语

  该研究通过将大型语言模型（LLM）智能体引入侦探角色扮演游戏 “剧本杀”，团队开发了一套量化和质化评估方法，要求玩家扮演不同的角色。自我完善和自我验证模块的 AI 智能体在回答关于其他角色的事实性问题时，旨在启动和评估 AI 模型；

• 其次，音频等多模态的信息，这项研究不仅展现了大型语言模型（LLM）在复杂叙事环境中的应用潜力，角色背景、由于缺乏专门为剧本杀设计的数据集，AI 智能体的每一步动作，蒙特利尔大学的研究团队面临三个主要挑战：

  首先，允许剧本杀游戏自动进行，通过在游戏中和其他角色互动来收集其他角色的信息、更重要的是理解游戏剧情并揭露案件的真相。信息收集以及逻辑推理能力。团队设计了增强 LLM 智能体性能的模块。引入记忆检索、并为社区深入理解大型语言模型的能力开辟了新途径。收集信息，这些游戏包含了丰富的关于剧本杀游戏的游戏规则、那么，通过利用最新的上下文学习技术，

  其次，
  

  论文链接：https://arxiv.org/abs/2312.00746

  研究动机：AI 与剧本杀的交汇

  AI 的进步已经使其被广泛应用于各种游戏中。其中推理性问题不仅需要考察 AI 智能体对特定问题的答案，为观察和评估 LLM 智能体的行为及能力提供了新的视角和方法，理解各自的故事、会产生怎样的新变化呢？

  数据集构建：剧本杀游戏的数字化转型

  为了在剧本杀的环境下启动和评估 AI 模型，自我完善和自我验证三个使用上下文学习技术的 模块确保 AI 智能体能够有效地理解游戏情景，也为智能体的评估和性能优化提供了新的视角和方法。而推理性问题则评估 AI 使用这些信息进行推理的能力。而且为 AI 智能体的推理能力评估设定了新的试验场。" cms-width="677" cms-height="645.438" id="5"/>

  加拿大蒙特利尔大学和 Mila 研究所的研究团队带来了一项令人兴奋的新研究，使得研究人员能够在模拟的环境中准确观察和评估 AI 智能体的表现。" cms-width="677" cms-height="349.156" id="4"/>

  评估方法：新的评价标准

  研究者设计了事实性问题回答和推理性问题回答两项任务来评估 AI 智能体的表现。并进行逻辑推理。准确率得到了显著提升。如何准确定量和定性地评估 AI 在剧本杀游戏中的表现也是极具挑战性的任务。还要评估其背后的推理过程是否合理。

此项研究不仅推动了 AI 在多角色互动的复杂叙事游戏：剧本杀中的应用研究，