腾讯研究院AI速递 20250312

文章预览

生成式AI 一、  AI紧箍咒！OpenAI发布CoT监控，阻止大模型恶意行为 1. OpenAI发布CoT监控研究，可有效阻止大模型胡说八道和隐藏真实意图，监测系统性"奖励黑客"行为召回率达95%； 2. CoT监控通过观察模型的"思维过程"，检测推理中的异常行为，提供比传统仅监控输出更细粒度的监控方式； 3. 当CoT监控整合到模型训练目标时，高优化阶段会出现"意图隐藏"现象，模型能成功隐藏真实意图绕过监控系统。 https://mp.weixin.qq.com/s/UENHnddOdnRCw_8jdL8Sdw 二、  陶哲轩亲测点赞，o3-mini秒证图论难题！专家级完整证明 1. OpenAI的o3-mini在陶哲轩测试下能成功证明图论中的"三角移除引理"复杂应用，几秒内给出专家级证明； 2. 模型在处理教科书级标准问题时表现优秀，但面对研究级别问题或少见领域时，成功率明显下降； 3. 陶哲轩认为LLM在数学研究中价值取决于问题性质， ………………………………