全新注意力范式！清华黄高团队提出Agent Attention：无缝集成Softmax和Linear...

主要观点总结

本文介绍了一种新型的注意力机制Agent Attention，它结合了Softmax Attention和Linear Attention的优点。通过引入Agent token，Agent Attention在保持计算效率的同时提高了Transformer模型的性能和效率。文章详细解读了Agent Attention的优势、计算范式、与其他方法的对比以及在不同任务上的实验结果。

关键观点总结

关键观点1: Agent Attention的介绍和优势

Agent Attention通过引入Agent token，在Transformer模型中平衡了Query token与Key-value对之间的关系，提高了模型的效率和性能。它集成了Softmax Attention和Linear Attention的优点，具有高效计算和强表达能力的优势。

关键观点2: Agent Attention的计算范式

Agent Attention由两个Softmax Attention操作组成，通过Agent token聚合来自输入特征的信息，然后将其广播回每个Query标记，从而避免了Query和Key-value对之间的成对相似度的计算。

关键观点3: Agent Attention在感知任务上的实验结果

在ImageNet-1K、COCO目标检测和ADE20K语义分割任务上，使用Agent Attention的模型性能优于基线模型，证明了Agent Attention的有效性。

关键观点4: Agent Attention在生成任务上的实验结果

将Agent Attention应用于Stable Diffusion和ToMeSD模型，显著提高了图像生成的质量和速度。与其他线性注意力机制相比，Agent Attention在生成任务中表现出更好的性能。

关键观点5: Agent Attention的大感受野和高分辨率优势

由于Agent Attention的线性复杂度，它可以从全局感受野中受益，同时保持相同的计算复杂度。在高分辨率场景下，使用Agent Attention的模型性能始终优于基线模型。