【RAG】再看RAG中不同粒度的引文类型及细粒度句子级引用生成方案LongCite

文章预览

今天是2024年9月14日，星期六，调休，北京，天气晴 昨天openai新模型的发布，直接带火了COT相关数据集，微博上有人发帖子找COT数据，很有趣。 我们今天来看一个问题，关于引文生成，我们已经讲过多个工作。 关于长文本参考文献引用生成，这个在当前RAG业务中是很常见的需求，并且在技术实现上，本质上就是一个微调任务，我们来看看有哪些引用的类型，差异性是什么，并看看LongCite引文生成方案。 跟进前沿并进行分析，总会有更多收获，供大家一起参考并思考。 一、先看RAG中不同粒度的引文含义及优缺点 引用，可以分为chunk级以及sentence级两种，如下图所示： Chunk-level citations 和 Sentence-level citations 是两种不同粒度的引用方式，它们在长文本问答系统中用于提供答案的来源信息，从而增强答案的可信度和可验证性。 其中， Chunk-level citations 和 S ………………………………