XTR检索模型简介

主要观点总结

文章介绍了多向量检索模型在深度文本检索中的应用，以及DeepMind在NeurIPS 2024上对多向量检索模型ColBERT的改进。改进模型XTR通过引入新的目标函数，鼓励模型首先检索最重要的文档词元，解决了多向量检索模型的推理复杂性，并提高了模型在多种基准测试中的性能。

关键观点总结

关键观点1: 多向量检索模型由于使Query与Doc进行词元级别的交互，在许多信息检索基准测试中达到了SOTA。

但由于其非线性评分函数无法扩展到数百万个文档，需要三阶段的推理过程。

关键观点2: XTR通过引入新的目标函数，解决了检索训练和推理之间的gap，仅使用检索到的doc token而非全部进行相似度计算。

XTR的核心思想在于鼓励模型首先检索最重要的文档词元，对词元检索的改进使得XTR可以仅使用检索到的词元来对候选文档排序，降低了成本。

关键观点3: XTR简化了推理流程，更接近于双编码器的简洁流程，同时保持并增强了多向量检索模型的表达评分功能。

在多个基准测试中，XTR达到了最先进的性能，且不需要额外的训练数据或技术。