Sirius：一种高效的上下文稀疏性校正方法，恢复稀疏模型在推理任务上的性能

文章预览

论文 ：Sirius: Contextual Sparsity with Correction for Efficient LLMs 地址 ：https://www.arxiv.org/abs/2409.03856 研究背景 研究问题 ：这篇文章要解决的问题是大型语言模型（LLMs）在推理效率上的挑战。随着LLMs的广泛应用，如何在保持模型性能的同时减少计算成本成为一个重要的研究方向。 研究难点 ：该问题的研究难点包括：如何在推理任务中保持稀疏模型的效率，以及如何纠正稀疏模型中的错误以提高其性能。 相关工作 ：该问题的研究相关工作包括上下文稀疏性（Contextual Sparsity, CS）方法，这种方法通过动态稀疏模式减少模型参数和计算成本，但在复杂推理任务中表现不佳。 研究方法 这篇论文提出了Sirius机制，用于解决上下文稀疏模型在推理任务中性能下降的问题。具体来说： 上下文稀疏性方法 ：首先，文章回顾了上下文稀疏性方法的两种主要类型：粗粒度 ………………………………