单张A100全精度推理！谷歌明星开源模型Gemma 2上新9B/27B，挑战3140亿Grok-1

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 新智元 编辑 | 耳朵 就在昨晚，谷歌的明星开源大模型系列，又迎来两位新成员——Gemma 2 9B和Gemma 2 27B！ 四个月前谷歌宣布重磅开源Gemma，四个月后Gemma 2上线，专门面向研究和开发人员。 目前，模型权重已经在HuggingFace上公开。 项目地址：https://huggingface.co/collections/google/gemma-2-release-667d6600fd5220e7b967f315 Gemma 2的核心亮点概括来说就是：参数虽小但性能极佳。 而且，27B模型甚至可在单张谷歌云TPU、英伟达A100 80GB GPU或英伟达H100 GPU上，以全精度高效运行推理。 高效新模型的诞生 Gemma 2在设计的架构上均 ………………………………