大语言模型的压缩：综述

文章预览

23年8月的综述论文“A Survey on Model Compression for Large Language Models“，来自国内中科院和人大。 大语言模型（LLM）在自然语言处理任务取得了显著的成功。然而，其过大的规模和计算需求给实际部署带来了重大挑战，尤其是在资源受限的环境中。随着这些挑战变得越来越重要，模型压缩已经成为缓解这些限制的关键领域。本文对LLM量身定制的模型压缩技术进行了综述。为了满足高效部署的迫切需求，深入研究了各种方法，包括量化、修剪、知识蒸馏等。在每一种技术中，强调了最近的进步和创新的方法，这些方法有助于LLM研究的发展。此外，还探讨了基准评分策略和评估指标，这些策略和指标对评估压缩LLM的有效性至关重要。 如图是压缩方法分类： 剪枝是一种删除不必要或冗余组件来减小模型大小或复杂度的有效技术 [LeCun et al., 1989; Han et al., 2015; Li ………………………………