ECCV'24｜Plain-Det：同时支持多数据集训练的新目标检测

主要观点总结

本文主要介绍了一篇关于多数据集目标检测的论文，该论文提出了一种简单而灵活的多数据集目标检测基线，旨在解决使用多个目标检测数据集训练一个有效且统一的检测器所面临的挑战。论文的贡献包括三项关键见解，以应对多数据集目标检测训练的挑战，并提供了一种简单但灵活的多数据集检测框架，称为Plain-Det。该框架能够满足对新数据集的灵活性、在不同数据集上的鲁棒性、训练效率以及与各种检测架构的兼容性等标准。此外，文章还介绍了该论文中涉及的技术细节，如标签空间的校准、稀疏查询的应用和改进、动态采样策略等。

关键观点总结

关键观点1: 论文的背景和目的

随着大规模数据集的出现，多数据集目标检测成为了一个重要的研究方向。该论文旨在解决使用多个目标检测数据集训练一个有效且统一的检测器所面临的挑战。

关键观点2: 论文提出的解决方案

论文提出了一种简单而灵活的多数据集目标检测基线，即Plain-Det，并给出了三项关键见解，包括标签空间的校准、稀疏查询的应用和改进、动态采样策略等，以提高检测器的性能和适应性。

关键观点3: 多数据集目标检测的基线

基线通过引入一个简单而灵活的多数据集目标检测基线，解决了不同数据集之间的分类法不一致的问题，并保持了其他进展。

关键观点4: 数据集特定的分类头

为了解决不一致分类法引起的冲突，论文为每个数据集设定了一个独特的数据集特定分类头，这些分类头中的分类器在训练期间是预先提取并且被冻结的。

关键观点5: 共享语义空间

为了在不同数据集之间传递共有知识，论文利用预训练的CLIP模型的特征空间作为类标签的共享语义空间，并通过校准文本嵌入来解决由CLIP的训练数据分布产生的偏差。

关键观点6:

论文提出了一种新颖的类感知查询初始化方法，既不是数据集无关的，也不是强烈依赖数据集的，而是依赖于与数据集和图像相关的弱先验。这种方法有助于共享不同数据集之间的相似语义标签。

关键观点7:

为了平衡不同数据集之间的图像数量，并在在线训练过程中动态评估数据集的难度，论文提出了一种硬度指示的采样策略。该策略根据数据集的损失和图像数量来动态调整采样权重。