TMM 2024 | 基于SAM结构先验与引导的低光照图像增强

主要观点总结

本文介绍了基于SAM结构先验与引导的低光照图像增强方法，包括分割引导框架SGF、区域感知动态特征提取器和分割引导Transformer模块等。该方法旨在解决低光照图像中不同区域光照分布不均匀和细节丢失的问题，通过结合图像级和特征级先验指导增强过程，实现高质量的增强效果。

关键观点总结

关键观点1: 引入SAM结构先验，开创性地应用强大的Segment Anything Model (SAM)构建图像级和特征级结构先验，引导低光照图像增强过程。

SAM模型在边缘检测方面的优势，用于生成图像级先验，以恢复低光照图像的细节。

关键观点2: 设计区域感知动态特征提取器，用于推导光照区域感知的特征级先验。

该提取器能够处理不同区域的光照分布，根据光照条件自适应地调整区域表示。

关键观点3: 提出分割引导框架SGF，整合构建的鲁棒分割先验以指导增强过程。

SGF通过结合图像级和特征级先验，实现结构先验与增强模块的深度交互。

关键观点4: 分割引导Transformer模块的设计，旨在有效建模不同区域间的光照关系。

该模块利用光照区域感知特征级先验来指导自注意力计算，通过长距离像素光照依赖建模实现清晰且颜色一致的图像生成。