不可错过！李磊老师CMU2025春季课程《大型语言模型》，学习设计和实现LLM系统的核心技能

文章预览

https://llmsystem.github.io/llmsystem2025spring/ 人工智能的最新进展在很大程度上得益于大型语言模型（LLMs）及其他生成式方法的发展。这些模型通常非常庞大（例如，GPT-3拥有1750亿参数），并且需要越来越大的数据量进行训练（例如，ChatGPT使用3000亿个token进行训练）。训练、部署、微调以及评估LLMs需要现代硬件和软件栈支持的复杂工程。开发可扩展的大型语言模型系统对于推动人工智能的发展至关重要。 在本课程中，学生将学习设计和实现LLM系统的核心技能。这包括在海量数据上高效训练LLM的算法与系统技术、高效的嵌入存储与检索、数据高效的微调、通信高效的算法、人类反馈强化学习的高效实现、基于GPU及其他硬件的加速、模型压缩以便部署，以及在线维护。我们将讨论机器学习、自然语言处理和系统研究中关于LLM系统的最新进展。 课程描述与目 ………………………………