Z Tech｜9月9日线上对话Meta FAIR研究科学家：利用Confidence动态过滤，告别低...

主要观点总结

文章介绍了大型语言模型（LLMs）的推理效率和性能要求不断提升的背景下，Deep Think with Confidence（DeepConf）方法的诞生。该方法通过利用模型内部置信度信号，动态过滤低质量推理轨迹，实现推理效率和性能的双重提升。文章还介绍了两位主要贡献者Jiawei Zhao和Yichao Fu的研究背景和成果，以及DeepConf在多个推理基准测试中的优异表现。

关键观点总结

关键观点1: DeepConf方法的诞生背景

随着大型语言模型的发展，对推理效率和性能的要求不断提高，研究人员需要更有效的推理方法。DeepConf克服了现有方法的不足，通过利用模型内部置信度信号，动态过滤低质量推理轨迹，提升了推理效率和性能。

关键观点2: DeepConf方法的核心逻辑

DeepConf利用模型内部置信度信号，如组置信度、底部10%组置信度、尾部置信度等，在生成中或生成后动态过滤低质量推理轨迹。该方法分为离线和在线两种模式，可无缝集成现有服务框架。

关键观点3: 主要贡献者及其研究背景

Jiawei Zhao是Meta FAIR研究科学家，拥有加州理工学院的博士学位，主要研究成果集中在机器学习领域，特别是大型语言模型的优化方法。Yichao Fu是加州大学圣地亚哥分校计算机科学与工程系的博士生，主要聚焦大型语言模型推理优化和系统优化等领域。

关键观点4: DeepConf的优异表现

DeepConf在多个推理基准测试中表现优异，如在AIME2025的测试中，离线模式下实现99.9%的准确率，远超传统多数投票的97.0%。在线模式下，相比全并行推理最多减少84.7%的生成Token，同时实现准确率的提升。