ECCV'24开源 | 推理加速30%！ToC3D：让3D目标检测原地起飞！

主要观点总结

本文主要介绍了基于稀疏查询的多视图3D目标检测的相关工作，指出了使用ViT主干网络带来的计算负担问题，并提出了一种名为TokenCompression 3D（ToC3D）的方法来解决这一问题。ToC3D方法利用历史对象查询作为前景先验，实现3D感知的令牌压缩和面向前景的计算资源分配，以提高多视图3D检测器的效率。

关键观点总结

关键观点1: 多视图3D目标检测的重要性及研究现状

多视图3D目标检测是计算机视觉中的基本任务，对于自动驾驶等实际应用至关重要。近年来，该领域的研究取得了巨大成功，现有的多视图3D目标检测方法主要可分为基于密集鸟瞰图的方法和基于稀疏查询的方法。

关键观点2: ViT主干网络在多视图3D目标检测中的应用与挑战

ViT主干网络在视觉任务中占据了主导地位，其高性能、可扩展性和与多模态基础模型集成的灵活性使其成为多视图3D目标检测器的理想选择。然而，使用ViT带来的计算负担问题成为限制其应用的主要瓶颈。

关键观点3: TokenCompression 3D（ToC3D）方法的基本原理

ToC3D方法通过利用历史对象查询作为前景先验，实现3D感知的令牌压缩和面向前景的计算资源分配。该方法主要包括运动查询引导的令牌选择策略和动态路由器两个设计。

关键观点4: ToC3D方法的实验结果及性能表现

在大规模nuScenes数据集上的实验结果表明，ToC3D方法可以在保持高性能的同时实现推理加速，为基于稀疏查询的多视图3D检测器提供了更有效的解决方案。

关键观点5: 未来工作展望

作者希望本文能够激发对高效多视图3D检测器的研究，并作为一个强大的基线，为未来相关工作提供启示和方向。

文章预览

点击下方 卡片 ，关注 「3D视觉工坊」 公众号 选择 星标 ，干货第一时间送达 来源：3D视觉工坊 添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。 扫描下方二维码，加入「 3D视觉从入门到精通 」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料： 近20门秘制视频课程 、 最新顶会论文 、计算机视觉书籍 、 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！ 0. 这篇文章干了啥？ 多视图3D目标检测是计算机视觉中最基本的任务之一，对于许多实际应用（如自动驾驶）至关重要，近年来在这一领域的研究更加深入并取得了巨大成功。 现有的多视图3D目标检测方法主要可以分为两类：基于密集鸟瞰图（BEV）的方法和基于稀疏查询的方法。前者从图像中提取密集的BEV特征 ………………………………