TPAMI 2024 | 用事件检测运动模糊图像中的线段

主要观点总结

本文提出了一个使用事件信息来增强运动模糊图像中线段检测的鲁棒性方法。作者设计了一个帧-事件特征融合网络，用于提取和融合图像纹理和事件边缘信息，然后使用最先进的线段检测器在融合的特征图上检测线段。为了训练模型，作者贡献了两个数据集，并在合成和真实数据集上进行了广泛的实验。结果显示，所提出的方法在保持实时性能的同时，实现了最高的检测精度，并对运动模糊和高动态范围场景表现出鲁棒性。

关键观点总结

关键观点1: 帧-事件融合网络

设计了一个通用的帧-事件特征融合网络，用于提取和融合图像和事件的信息。网络包括一个基于通道注意力的浅层融合模块和一个基于自注意力的双沙漏模块。

关键观点2: 数据集贡献

构建了两个数据集，即合成的FE-Wireframe和现实的FE-Blurframe，用于网络训练和评估。

关键观点3: 多尺度融合

采用多尺度编码器-解码器结构进行特征融合，增强事件和帧的特征提取。

关键观点4: 实验分析

进行了广泛的组件配置分析，验证网络设计的合理性，并与最先进技术进行了全面比较，证明了所提出方法的有效性。

关键观点5: 鲁棒性分析

所提出的方法对运动模糊和高动态范围场景表现出鲁棒性，并且有望在未来探索事件数据的异步特性，以同时检测线段和估计线运动。