自动化、可复现，基于大语言模型群体智能的多维评估基准Decentralized Arena来了

主要观点总结

文章介绍了机器之心AIxiv专栏和Maitrix.org的相关内容，包括其职责、发展历史、合作伙伴以及所开展的开源项目。文章还重点介绍了一种新的LLM基准测试方法——Decentralized Arena，包括其设计理念、优势、实施步骤以及与现有基准测试的区别和联系。最后，文章还介绍了如何创建自定义维度的排名和如何选择自动问题集。

关键观点总结

关键观点1: 机器之心AIxiv专栏的职责是报道学术、技术内容，促进学术交流与传播。

该专栏接收了2000多篇内容，覆盖全球各大高校与企业的顶级实验室。

关键观点2: Maitrix.org是一个由学术机构学者组成的开源组织，致力于发展大语言模型、世界模型、智能体模型的技术。

该组织成功开发了Pandora视频-语言世界模型、LLM Reasoners等。

关键观点3: Decentralized Arena是一种新的LLM基准测试方法，旨在解决现有基准测试的挑战。

它通过利用所有LLM的集体智能进行相互评估和比较，形成了一个去中心化、民主化的系统。该方法具有稳健且无偏、自动化、易于扩展到任何评估维度、快速的新模型排名、透明和可复现等优点。

关键观点4: Decentralized Arena的关键优势包括去中心化的概念、自动化的评估方法、高度相关性、精细的维度分析以及透明度。

研究团队继续添加更多的模型和维度，并欢迎社区贡献和提交。

关键观点5: Decentralized Arena的方法是通过大语言模型的群体智能进行基准测试，包括去中心化的概念、基于二分搜索插入的粗略排名、窗口内精细排名和滑动、收集模型的成对比较结果并使用Bradley-Terry方法估计每个模型的得分。

该研究还介绍了如何构建自定义维度和选择自动问题集。

免责声明