AAAI 2024 | 视频时序行为检测标注难？单帧标注就能达到全监督性能！

©作者 | 张化鑫单位 | 华中科技大学论文链接：https://arxiv.org/pdf/2308.12608.pdf代码已开源：https://github.com/pipixin321/HR-Pro引言时序行为检测（Temporal Action Localization，TAL）旨在检测出视频序列中感兴趣的行为片段，我们研究了在一种高效标注方式（点监督）下的 TAL 任务，即每个行为实例只有单帧标注。现有点监督 TAL 方法只对片段级（snippet-level）或只对实例级（instance-level）对行为建模，没有充分挖掘点监督在这两个层级下固有的可靠性，我们提出多层级可靠传播方法，在片段级引入可靠片段记忆模块并利用交叉注意力的方法向其他片段传播，在实例级提出基于点监督的提议生成来关联片段和实例，用于产生不同可靠度的 proposals，进一步在实例级优化 proposals 的置信度和边界。通过多层级的 reliability propagation，网络学习到更具辨别力的片段级特征和更 ………………………………