RAG还是微调，怎么选？

文章预览

要想提高大模型在特定行业与场景中输出的适应性与准确性，除了使用RAG，还可以使用自己的数据对大模型进行微调。那么这两种方案的区别及选择的标准是什么呢？ 我们首先简单了解一下大模型微调。以OpenAI公司的GPT大模型为例，一个GPT架构的大模型的训练通常需要经过以下几个阶段。 1．预训练阶段 这是整个过程中最复杂的阶段，像GPT-4这样的模型在预训练阶段通常需要成千上万个GPU，在海量的无标记的数据上训练数月。这个阶段其实占用了全部阶段的大部分时间。预训练阶段的输出模型一般叫基座模型，有的基座模型会被发布（比如开源的Llama），而有的基座模型不会被发布（比如GPT-4）。 基座模型本身是可以直接使用的，但通常不是一个“回答问题”的模型，而是一个“补全文档”的模型。如果你想让基座模型来回答问题，就必须假装输 ………………………………