主要观点总结
OpenAI发布了一个全新的开源健康基准HealthBench，用于评估大模型在真实医疗场景中的表现。该基准由医生共同开发，涵盖多轮医疗对话，支持多语言，并提供了详细的评分标准，全面考察模型在准确性、沟通质量、上下文感知等多个维度的能力。文章还讨论了HealthBench对未来AI医疗技术的影响以及OpenAI在医疗方向的相关举措。
关键观点总结
关键观点1: OpenAI发布HealthBench基准
HealthBench由262名医生共同开发，涵盖5000个多轮医疗对话，涉及60个国家、26个专业，支持多语言。医生自定义的评分标准全面考察模型在多个维度的能力。
关键观点2: HealthBench的影响及OpenAI的举措
HealthBench对AI医疗技术有重大影响，OpenAI已组建健康和医疗团队，并将其作为未来的重点方向。作者认为这是OpenAI在医疗方向的一个重要举措，且HealthBench是开源的。
关键观点3: Evals的重要性及结构
评估（Evals）在AI的下半场比训练更重要。明确要解决什么问题以及如何评估问题的解决效果变得至关重要。文章提供了一个具体的Evals示例，包括用户问题、AI回复以及针对回复的评分标准和等级。
关键观点4: 不同模型在HealthBench上的表现
OpenAI使用HealthBench基准测试了市面上主要模型在医疗方面的表现。其中o3表现最好，得分为60%，其次是Grok 3和Gemini 2.5 Pro。Claude 3.7的表现稍差一些。
关键观点5: HealthBench的意义及未来展望
HealthBench为医疗领域的垂直AI代理提供了关键的评估标准。过去大多数基准关注通用LLM的表现，而HealthBench更注重准确性和实际场景的相关性。作者认为这推动了行业建立专业AI评估标准的开端。
文章预览
今天早上， OpenAI 正式发布一个全新的开源健康基准：HealthBench，用于评估大模型在真实医疗场景中的表现。 HealthBench 由 262 名医生共同开发，涵盖 5000 个多轮医疗对话，涉及 60 个国家、26 个专业，支持多语言。该基准通过医生自定义的评分标准，全面考察模型在准确性、沟通质量、上下文感知等多个维度的能力。 看到这个消息，我有两个惊讶。 第一，OpenAI 已经组建了健康和医疗团队，医疗成为他们接下来的重点方向。 提升人类健康，将成为 AGI 最具标志性的影响之一，HealthBench 对 AI 医疗技术的影响重大，国内媒体今天没注意到这件事，我觉得这是OpenAI 在医疗方向的一个重要举措，而且HealthBench 是开源的，所有人均可以使用。 第二，HealthBench 的核心其实是 Evals，从中，我们能看到 OpenAI 是怎么写 Evals 的。 OpenAI 的研究院和 CPO 最近都提到，AI
………………………………
