EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了

主要观点总结

本文介绍了浙江大学、蚂蚁集团等机构提出的一种名为LightThinker的方法，该方法旨在解决大语言模型（LLMs）在处理复杂推理任务时的计算效率和内存占用问题。通过训练模型在推理过程中动态地压缩冗长的中间思考步骤，仅保留核心摘要以继续下一步的思考，从而显著降低了内存占用和计算成本。文章还介绍了该方法的实现细节、实验结果以及相关工作。

关键观点总结

关键观点1: LightThinker的核心思想及解决的问题

LightThinker通过训练LLM在推理过程中动态地压缩冗长的中间思考步骤，模仿人类高效的思考模式。这解决了模型在推理过程中产生大量中间步骤和文本，导致计算速度减慢、内存和计算资源压力增大的问题。

关键观点2: LightThinker的工作流程

LightThinker的工作流程包括数据重构、注意力改造和动态推理三个阶段。通过在这三个阶段中植入压缩指令、改造训练数据和注意力机制，模型学会了何时进行压缩以及如何压缩中间思考步骤，形成了高效的动态循环。

关键观点3: 实验结果

实验结果表明，LightThinker在四个数据集和两个不同的模型上的测试取得了显著成果。与传统模型相比，LightThinker的峰值内存使用减少了70%，推理时间缩短了26%，实现了准确度和效率之间的平衡。

关键观点4: 局限性

LightThinker在数值相关的任务上表现不够出色，因为在当前的数据重构方案和训练数据上还存在局限性。此外，对于某些复杂任务，模型的压缩策略可能导致信息丢失。