小白学大模型：斯坦福CS25 Transformers与LLMs

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           CS25: Transformers United V4 是斯坦福大学（Stanford University）在2024年春季开设的一门课程，从4月4日持续到5月30日。这门课程专注于深度学习领域中的Transformers和大模型。 unset unset 技术发展时间轴 unset unset 1990年代 ：史前时代，基于规则的方法、解析、递归神经网络（RNNs）、长短期记忆网络（LSTMs）。 2014年 ：简单的注意力机制。 2017年 ：论文《 Attention is all you need 》标志着这一转变。 2018年 ：Transformers在自然语言处理（NLP）领域的爆炸性增长，BERT、GPT-3等模型的出现。 2018-2020年 ：Transformers扩展到其他领域，如视觉变换器（ViTs）、Alphafold-2等。 2021-2022年 ：生成时代的开始，Codex、决策变换器、GPT-X、DALL·E等模型的出现。 2024年 ： ………………………………