McEval：超大规模多语言代码评测

文章预览

为了更加全面的探究大语言模型的代码能力，该工作提出了一个涵盖40种编程语言的大规模多语言多任务代码评测基准（McEval），包含了16000个测试样本。评测结果表明开源模型与GPT-4相比，在多语言的编程能力上仍然存在较大差距，绝大多数开源模型甚至无法超越GPT-3.5。此外测试也表明开源模型中如Codestral，DeepSeek-Coder, CodeQwen以及一些衍生模型也展现出优异的多语言能力。该基准的提出对推动多语言代码评测具有重要意义。 原文链接： https://arxiv.org/abs/2406.07436  代码链接： https://github.com/MCEVAL/McEval 榜单: https://mceval.github.io/leaderboard.html Part.1 360°全方位代码能力评估  摆脱HumanEval / MBPP 近年来，各种大语言模型层出不穷，这些大语言模型都在公开的测试基准如HumanEval, MBPP等代码榜单上展现出优异的代码能力，许多模型甚至都取得了与GPT-4相近的表现 ………………………………