CritiqueLLM：高质量、低成本的评分模型

模型评测，对于模型的研发至关重要。但如何能够在研发过程中，快速、有效、公平且低成本地对模型性能进行评测，依然是一个重要问题。传统的评价指标（如BLEU、ROUGE）基于参考文本和生成文本的n-gram重合度计算评价分数，缺乏对生成文本整体语义的把握；而基于模型的评价方法则严重依赖基座模型的选取，只有GPT-4这样“顶级”的大模型才能取得令人满意的评价效果，但其仅能通过API访问的特性又给研究者带来花费高昂、访问困难、数据泄露等一系列挑战。因此，我们提出了可解释、可扩展的文本质量评价模型 CritiqueLLM。该模型可以针对各类指令遵循任务上大模型的生成结果提供高质量的评价分数和评价解释。下图展示了CritiqueLLM在含参考文本的场景下评价生成文本质量的示例，其中 CritiqueLLM 将大模型生成文本和参考文本进行了详尽的对比 ………………………………