Qwen知识蒸馏小试牛刀，在MT-Bench与AlpacaEval 2.0的表现大幅提升

文章预览

01 前言 本文主要分享我们在大模型知识蒸馏上的实验尝试，以及所取得的实验效果提升。我们在5月份完成了该实验，但由于各种原因，实验分享🕊️了两个月。由于彼时Qwen2尚未发布，且我们的训练资源有限，所以我们选择将Qwen1.5-32B-Chat-AWQ蒸馏到Qwen1.5-14B中。 在AlpacaEval 2.0和MT-Bench评测集中，我们得到以下两个主要的实验结果： 使用同一份训练数据，蒸馏得到的模型大幅优于直接SFT的模型。 蒸馏可弥补数据质量导致的差距，蒸馏得到的模型比官方Qwen1.5-14B-Chat模型有比较明显的提升。 下表是我们蒸馏的14B模型与官方Qwen1.5-14B-Chat在AplacaEval 2.0评测集中的评测结果。 这表明大模型知识蒸馏的有效性，相较于直接SFT，知识蒸馏能够进一步提升模型的性能，可作为大模型压缩和加速推理的有效手段。 近期谷歌开源的Gemma-2-9B也使用了知识蒸馏的方法，业 ………………………………