ICML 2025 | 全局池化+局部保留，CCA-Attention为LLM长文本建模带来突破性进...

主要观点总结

本文介绍了琶洲实验室、华南理工大学联合推出的关键上下文感知注意力机制（CCA-Attention），该机制实现了超长文本的高效上下文建模。在128K超长序列上下文建模任务中，CCA-Attention的推理速度是标准自注意力机制的7.9倍，同时键值缓存显存占用减少93%，性能全面优于现有高效注意力方法。文章还介绍了CCA-Attention的特点、实验设置、实验结果和嘉宾简介等。

关键观点总结

关键观点1: 关键上下文感知注意力机制（CCA-Attention）的实现

CCA-Attention通过全局池化注意力与局部保留注意力的协同设计，在显著降低计算量的同时保持对长距离依赖的建模能力。引入core token聚焦关键上下文，大幅提高计算效率。

关键观点2: CCA-Attention的优势

相比标准自注意力机制和其他高效注意力方法，CCA-Attention在推理速度、内存占用方面表现出显著优势。在128K上下文长度任务中，推理速度提升7.9倍，KV Cache显存使用减少93%。

关键观点3: 实验验证

作者将CCA-Attention应用于LLaMA2-7B模型，并在SlimPajama数据集上微调。在长序列语言建模和多文档问答任务中，CCA-Attention表现出优异性能。