主要观点总结
本文介绍了驱动科学研究的人工智能（AI for Science）在工具层面的进展以及成为「革命的工具」所需的「通专融合AGI」方式。大模型在改变科学研究模式的同时，其在科学领域的深度应用需要科学的评测支撑。现有科学评测面临两大痛点，上海人工智能实验室AI4S团队推出了Scientists’ First Exam（SFE）系统评估多模态大模型（MLLMs）多学科、高难度的科学专业领域认知能力的评测基准。SFE首创「信号感知-属性理解-对比推理」三级评估体系，涵盖五大科学领域的66项高价值任务。评测表明主流MLLMs在高阶科学任务上仍有显著挑战，SFE揭示了模型的能力短板并为科学AI发展指明了突破方向。
关键观点总结
关键观点1: AI for Science在单点取得进展，但仍需「通专融合AGI」方式成为革命工具。
当前大模型在科学领域的应用面临深度应用的需求，需要科学的评测支撑。
关键观点2: 现有科学评测的两大痛点及SFE的提出
现有的科学评测多聚焦知识记忆，缺乏从原始科学数据感知到复杂推理的全链条能力评估；SFE填补了这一空白，推出了多层级的评估体系。
关键观点3: SFE的评估体系与任务分布
SFE构建了包括科学信号感知、科学属性理解和科学比较推理三层认知框架的评估体系，涵盖了五大科学领域的66个高价值任务。
关键观点4: 主流MLLMs在高阶科学任务上的挑战
基于SFE的评测显示，主流MLLMs在高级科学任务上面临挑战，其能力短板在评测中得以显现。
关键观点5: SFE对模型能力评估的意义
SFE不仅考查深层次的领域知识和数据分析能力，也旨在提升科学研究效率，促进科学进步。其评估结果对区分不同模型的科学能力具有有效性。
免责声明
免责声明：本文内容摘要由平台算法生成，仅为信息导航参考，不代表原文立场或观点。
原文内容版权归原作者所有，如您为原作者并希望删除该摘要或链接，请通过
【版权申诉通道】联系我们处理。
