ACM MM'24 | 用于镜面高光去除的双混合注意力网络

主要观点总结

本文介绍了论文“Dual-Hybrid Attention Network for Specular Highlight Removal”的相关信息，该论文提出了一种用于镜面高光去除的双混合注意力网络。论文创新点包括提出双混合注意力机制、设计独特组件、构建新的基准数据集、设计复合目标函数等。

关键观点总结

关键观点1: 论文提出的双混合注意力网络（DHAN-SHR）是一个端到端的网络，用于镜面高光去除。

网络引入了新颖的混合注意力机制，包括自适应局部混合域双注意力和自适应全局双注意力，能有效且高效地捕获空间和光谱信息，以及不同尺度的上下文关系，准确去除镜面高光，同时恢复底层的漫反射成分。

关键观点2: 网络包含两个关键组件：自适应局部混合域双注意力变换器（L-HD-DAT）和自适应全局双注意力变换器（G-DAT）。

L-HD-DAT位于U形架构顶层，采用两个并行注意力机制捕获局部窗口内通道间和像素间关系，并结合频率域特征，有效提升对局部细节的捕捉能力。G-DAT则关注全局的通道间关系和长距离像素依赖，使网络能够在整个图像中传播上下文信息，生成更连贯、一致的无高光结果。

关键观点3: 为了评估DHAN-SHR的性能并促进该领域的未来研究，作者构建了一个大规模的基准数据集。

数据集包含了各种具有不同程度镜面高光的图像，为训练和测试环境提供了丰富的样本，为评估模型性能和未来研究奠定了更好的基础。