AgentReview: 利用大模型智能体探究学术出版同行评审机制

主要观点总结

本文介绍了AgentReview，这是一个基于大型语言模型（LLM）的同行评审模拟框架。该框架旨在解决同行评审过程中的多重潜在因素和数据隐私问题，并揭示了社会影响力、利他主义疲劳、群体思维、权威偏见和锚定偏见等社会学理论在同行评审中的作用。文章详细描述了研究背景、研究问题、研究方法、实验设计、结果与分析以及关键问题及回答等。

关键观点总结

关键观点1: 创新点

提出了AGENTREVIEW，首个利用大型语言模型（LLMs）和代理建模来模拟同行评审过程的框架。

关键观点2: 研究背景

同行评审是科学出版的核心环节，但传统方法存在不足，无法充分考虑过程的多变量特性、潜在变量以及隐私问题。

关键观点3: 研究方法

通过集成LLM代理和基于代理的建模来模拟同行评审过程，使用真实会议提交数据，建立基线设置以测量单个变量变化的影响。

关键观点4: 重要发现

揭示了社会影响力、利他主义疲劳、群体思维等社会学理论在同行评审中的作用。

关键观点5: 价值

为未来设计更公平、透明的同行评审机制提供了有价值的见解，并有助于改善学术审稿过程的效率和公正性。