Jeff Dean万字长文回顾2021：除了超大的AI模型，谷歌还有啥？

新年伊始，谷歌AI掌门人Jeff Dean的年度总结「虽迟但到」，这篇万字长文系统回顾了过去一年来机器学习领域的五大趋势。除了超大AI模型，谷歌去年还做了啥？>>>>2021年，谷歌在机器学习领域可谓是十分高产。 毕竟，这帮人在NeurIPS 2021上就投了177篇论文。 1月11日，Jeff Dean终于用一篇万字长文完成了总结。  趋势 1：功能更强大、通用的机器学习模型 研究人员正在训练出比以往任何时候更大、功能更强大的机器学习模型。近几年，语言领域的模型规模迅速增长，参数数量从百亿级（例如110亿参数的T5模型）发展到现在的数千亿级（如 OpenAI 的 1750亿参数的GPT-3模型和 DeepMind 的 2800亿参数的Gopher模型。 在稀疏模型方面，如Google的GShard模型参数为6000亿，GLaM模型参数更是达 ………………………………