苹果AI选Mamba：Agent任务比Transformer更好

主要观点总结

文章介绍了苹果公司的最新研究，关于在长任务、多交互的Agent式任务中，基于SSM架构的模型如Mamba展现出的超越Transformer的潜力。文章首先指出Transformer虽然聪明但计算成本高，对长序列任务处理延迟大，在Agent类任务中表现不佳。然后介绍了Mamba的优势，其采用状态空间模型（SSM）架构，不依赖全局注意力机制，计算量随序列长度呈线性增长，支持流式处理，内存占用稳定。但Mamba也有局限，内部状态存储容量有限。为此，苹果团队通过引入外部工具扩展模型的信息处理能力，使得Mamba在效率上得到显著提升。结合工具后，Mamba在处理复杂任务场景时表现优于Transformer。

关键观点总结

关键观点1: Transformer的计算成本高，处理长序列任务延迟大，在Agent类任务中表现不佳。

文章指出Transformer存在的问题，即随着输入序列长度的增加，计算量会呈平方级增长，导致处理延迟增加和在Agent类任务中表现不佳。

关键观点2: Mamba的优势

Mamba采用状态空间模型（SSM）架构，不依赖全局注意力机制，计算量随序列长度呈线性增长，支持流式处理，内存占用稳定。

关键观点3: 苹果团队通过引入外部工具扩展模型的信息处理能力。

针对Mamba的内部状态存储容量有限的问题，苹果团队引入了外部工具来扩展模型的信息处理能力。这些工具可以在任务执行过程中提供辅助，相当于给模型提供了可动态调用的外部存储和交互接口。

关键观点4: 「Mamba+工具」组合在Agent场景下的优势

通过结合工具的使用，Mamba在处理多位数加法、代码调试任务以及需要分步规划的任务时，表现出比Transformer更高的效率和准确性。