主要观点总结
文章介绍了多向量检索模型在深度文本检索中的应用，以及DeepMind在NeurIPS 2024上对多向量检索模型ColBERT的改进。改进模型XTR通过引入新的目标函数，鼓励模型首先检索最重要的文档词元，解决了多向量检索模型的推理复杂性，并提高了模型在多种基准测试中的性能。
关键观点总结
关键观点1: 多向量检索模型由于使Query与Doc进行词元级别的交互，在许多信息检索基准测试中达到了SOTA。
但由于其非线性评分函数无法扩展到数百万个文档，需要三阶段的推理过程。
关键观点2: XTR通过引入新的目标函数，解决了检索训练和推理之间的gap，仅使用检索到的doc token而非全部进行相似度计算。
XTR的核心思想在于鼓励模型首先检索最重要的文档词元，对词元检索的改进使得XTR可以仅使用检索到的词元来对候选文档排序，降低了成本。
关键观点3: XTR简化了推理流程，更接近于双编码器的简洁流程，同时保持并增强了多向量检索模型的表达评分功能。
在多个基准测试中，XTR达到了最先进的性能，且不需要额外的训练数据或技术。
文章预览
之前写过深度检索模型的介绍： # 深度文本检索模型：DPR, PolyEncoders, DCBERT, ColBERT ，今天来看看DeepMind在NeurIPS 2024上的文章，对多向量检索模型（Multi-Vector Retrieval）ColBERT进行了改进： Rethinking the Role of Token Retrieval in Multi-Vector Retrieval (https://arxiv.org/pdf/2304.01982) 多向量检索模型由于使Query与Doc进行词元级别的交互，因此在许多信息检索基准测试中达到了SOTA。然而，其非线性评分函数无法扩展到数百万个文档，这就需要一个三阶段的推理过程：通过词元检索检索初始候选，访问所有词元向量，并对初始候选文档进行评分。非线性评分函数应用于每个候选文档的所有词元向量，使得推理过程复杂且缓慢。XTR 引入了新的目标函数，鼓励模型首先检索最重要的文档词元，对词元检索的改进使得 XTR 可以仅使用检索到的词元来对候选文档排序，而不是文档中的
………………………………
