（AAAI 2025）跨模态注意力CMA，即插即用，涨点起飞

主要观点总结

该论文介绍了一种名为SalM2的极轻量级显著性模型，用于实时认知驾驶员注意力。论文提出了多个创新点，包括使用选择性通道并行Mamba（SCPM）层解决高维特征时的参数爆炸问题，以及跨模态注意力（CMA）融合方法，将任务语义与图像特征对齐。论文还介绍了模型的整体架构和关键模块的作用，包括CMA模块的适用场景。

关键观点总结

关键观点1: 论文名称及介绍

论文名为《SalM2: An Extremely Lightweight Saliency Model for Real-Time Cognitive Awareness of Driver Attention》，介绍了一种用于预测驾驶员注视点的极轻量级模型。

关键观点2: 模型的优点和创新点

SalM2具有约0.08M的参数和4.45G FLOPs，性能达到或超过现有技术。创新点包括使用选择性通道并行Mamba（SCPM）层解决高维特征时的参数爆炸问题，以及跨模态注意力（CMA）融合方法的提出，实现了任务相关的注意力引导。

关键观点3: 模型的架构和功能

SalM2采用“双分支 + 深层融合”的轻量框架，包括一个基于Mamba的层级式Encoder-Decoder主干和一个使用CLIP抽取当前驾驶任务的语义线索的分支。在编码最深层通过跨模态注意力（CMA）将语义对齐到图像通道并施加引导，然后解码得到更贴合真实驾驶员凝视分布的注视图。

关键观点4: 跨模态注意力（CMA）模块的作用

CMA模块适用于多模态任务，以极低开销将语义信息注入视觉特征，实现任务相关的注意力引导。该模块的作用是将任务语义（来自CLIP等）映射到与图像特征相同的维度，对齐后用注意力机制作用在通道维度，突出与任务相关的视觉特征。

关键观点5: 模型的适用场景

SalM2适用于多模态任务、轻量化模型和需要任务引导的视觉任务。特别是在参数/算力受限的实时应用（如自动驾驶、AR/VR、嵌入式设备）中，SalM2能够通过引入语义信息提高预测的任务一致性。