埃隆·马斯克开源Grok的“难言之隐”与“野望”

文 /《AI赋能超级个体》作者 翟尤编辑 / 腾讯科技 郭晓静2024年3月18日，马斯克兑现前几天的诺言，正式对Grok大模型进行开源。根据开源信息显示：Grok模型的Transformer达到64层，大小为314B；用户可以将Grok用于商业用途（免费），并且进行修改和分发，并没有附加条款。首先速览一下 Grok 的参数细节：① 模型概况：拥有3140亿个参数，成为目前参数量最大的开源模型；Grok-1 是一个基于 Transformer 的自回归模型。xAI 利用来自人类和早期 Grok-0 模型的大量反馈对模型进行了微调。初始的 Grok-1 能够处理 8192 个 token 的上下文长度，已经于 2023 年 11 月发布。② 特点：模型采用了混合专家架构，共有8个专家模型，其中每个数据单元（Token）由2位专家处理。这使得每次对Token的处理会涉及860亿激活参数，比目前开源的最大模型Llama-2 70B的总参数量还多。模型包含 ………………………………