ECCV 2022 | FlowFormer：光流估计新范式

本文主要介绍港中文MMLab和商汤ISP&Codec团队合作发表在ECCV 2022上的工作。作者提出了FlowFormer模型，将Transformer结构引入到光流估计任务中，大幅提高了光流估计的性能。在公开的Sintel榜单的Clean和Final两个指标上，FlowFormer分别实现了1.16和2.09 AEPE，相比之前的最好方法分别下降了16.5%和15.5%。此外，只在FlyingChairs和FlyingThings数据集上训练，FlowFormer在Sintel Training的Clean指标上实现了1.01 AEPE，较之前最好方法降低21.7%，展现了优秀的泛化能力。论文链接：https://arxiv.org/pdf/2203.16194.pdf开源代码：https://github.com/drinkingcoder/FlowFormer-Official项目主页：https://drinkingcoder.github.io/publication/flowformer/ 一、动机和背景光流任务目标为估计相邻两帧每个像素的位移值。在许多下游的任务中，如动作识别、视频修补、视频超分，光流算法都作为基础组件提供运动和对应关系信息 ………………………………