LLM对齐数据全自动合成！UW华人博士生提出Magpie方法，Macbook Air即可运行

文章预览

   新智元报道   编辑：乔杨 【新智元导读】 华盛顿大学和Allen AI最近发表的论文提出了一种新颖有趣的数据合成方法。 他们发现，充分利用LLM的自回归特性，可以引导模型自动生成高质量的指令微调数据。 数据对LLM训练而言是至关重要的存在，但我们的关注点往往放在训练和评估数据，而会忽略微调数据。 比如Llama系列模型，虽然开放了权重（如Llama-3-Instruct），但微调数据集依旧是私有的。 LLM的成功有很大一部分取决于指令微调（instruction fine-tuning），这个过程能让模型更好地泛化到训练过程中没有接触过的任务。 正如训练的有效性依赖于训练语料的质量，指令微调的有效性也取决于能否获得高质量的指令数据集。 然而，相比于无标注的自监督训练语料，高质量微调和对齐数据集更加难以构建、扩展，因为需要更多人工标注，而且存在预先 ………………………………