微软ACL 2022：永远不要低估你的训练数据！

从大规模数据中检索通常比较耗时，仅从训练数据中也能有巨大收益。具体做法是检索与输入文本最相似的训练样例，拼接后作为输入喂入模型，然后生成结果。结果在摘要、翻译、语言模型和QA上都取得了不错的效果。论文：Training Data is More Valuable than You Think: A Simple and Effective Method by Retrieving from Training Data[1]Code：microsoft/REINA[2]一句话概述：在检索任务中训练数据在推理时也大有用处。文章上来就给我们呈现了整体的结构：有点类似 Prompt 学习，但本文主要关注有监督学习的设置。结果不仅效果很好，而且很容易扩展（只要增加有标注训练数据就行），计算代价也小。我觉得本文相对最有意思的一个发现是文中所写： 即便有成吨的参数，一个模型也不能记住训练数据中的所有模式。所以，重新捕获相关的训练数据作为一个手拉手提示器 ………………………………