算力成本大降！马尔可夫思考机来了，LLM推理成本直接降为线性

主要观点总结

文章介绍了使用强化学习使LLM具备推理能力的技术，其中涉及到使用LongCoT模型与“思考token”的数量提升模型能力的方法。针对计算量问题，文章探讨了基于注意力机制的策略所面临的挑战。近期，Mila和微软研究院等机构提出了Delethink范式，通过重构强化学习的构成形式来降低推理LLM的计算量。其核心思想是使策略读取的有效状态大小有界，从而实现了线性计算量和恒定内存的效果。Delethink范式的有效性得到了实验验证，并与LongCoT进行了对比。此外，文章还探讨了强化学习环境的创新以及非二次级复杂度的序列架构对推理模型的潜在影响。

关键观点总结

关键观点1: LLM通过强化学习获得推理能力，涉及LongCoT模型和增加“思考token”提升能力。

LLM具备强大的语言处理能力，通过强化学习进一步提升其推理能力。在回答问题前会生成一串思维链（LongCoT），增加思考token的数量能够增强模型的能力。

关键观点2: 注意力机制在计算量上的挑战。

基于注意力机制的策略在计算量上面临着巨大的挑战，特别是在处理长序列时，计算量会呈现二次级增长。

关键观点3: Delethink范式的提出与实现。

为了降低推理LLM的计算量，Mila和微软研究院等机构提出了Delethink范式。该范式通过重构强化学习的构成形式，实现了策略读取的有效状态大小有界，从而实现了线性计算量和恒定内存的效果。

关键观点4: Delethink范式的有效性验证。

实验结果表明，Delethink范式的有效性得到了验证，其在计算效率、内存使用和模型性能等方面均表现出显著的优势。

关键观点5: 强化学习环境的创新与未来影响。

强化学习环境的创新对于推动LLM的发展具有重要意义。非二次级复杂度的序列架构可能会对推理模型产生深远的影响，使模型能够更有效地处理长序列数据。