ICML 2025 | 大模型能在信息不完备的情况下问出正确的问题吗？

主要观点总结

文章介绍了大语言模型（LLM）在主动推理（Active Reasoning, AR）方面的挑战和不足。文章提出了AR-Bench基准来评估LLM的主动推理能力，并进行了广泛的实验。实验结果表明，当前LLM在主动推理方面存在严重不足。文章还讨论了主动推理的重要性和未来研究方向。

关键观点总结

关键观点1: 主动推理（AR）的重要性

AR是现实中普遍存在的场景，如侦探破案、医生诊断等。LLM在AR方面的能力亟待评估和提升。

关键观点2: AR-Bench基准的提出

AR-Bench旨在模拟真实世界信息获取场景，评估LLM的主动推理能力。包括侦探案件、情景谜题、数字猜谜三种任务。

关键观点3: 实验结果

实验表明，当前LLM在AR-Bench上的表现不佳，存在主动推理能力不足的问题。提出的新问题、新基准有助于揭示LLM的短板。

关键观点4: 未来的研究方向

未来工作方向包括提升模型的主动推理能力，将AR-Bench拓展到更多任务和领域，以及进行更多的实验分析和技术研究。