如何提升大模型效率？微软等最新《大型语言模型的效率算法》综述

大型语言模型（LLMs）的快速发展已成为转型各个领域、重塑人工通用智能领域风貌的驱动力。然而，这些模型不断增长的计算和存储需求提出了重大挑战，阻碍了学术研究和实际应用的进展。为了解决这些问题，已经开发了包括算法和硬件解决方案在内的多种方法，以提高LLMs的效率。本综述提供了一份全面回顾，专注于旨在提升LLM效率的算法进步。与通常仅关注特定领域，如训练或模型压缩的其他综述不同，本文审视了对LLMs端到端算法发展至关重要的多方面效率维度。具体而言，它涵盖了与效率相关的各种主题，包括规模定律、数据利用、架构创新、训练和微调策略，以及推理技术。本文旨在为研究人员和实践者提供一个宝贵的资源，为这一关键研究领域的未来创新奠定基础。https://github.com/tding1/Efficient-LLM-Survey大型语言模型（LLMs）[28, 111, 236, 30 ………………………………