Llama 3.1模型有4050亿参数量，还是保守了？

文章预览

原创：谭婧 模型参数规模， 越大越好， 有些人把大当做目标， 但这不是答案。 往更大规模训练， 就是还期望效果还能更好， 把“智能上限”往上推。 这个趋势在Llama3.1旗舰模型这里， 到达一个新顶峰。 的确，Llama 3.1 405B太大了， 由大而来的技术难度摆在这里。 上一次的参数量大的历史是英伟达创造的， 2024年6月16日， 英伟达的开源大模型Nemotron， 有3400 亿参数。 再往前，上上一次破参数规模记录， 是马斯克 xAI的记录。 2024年3月17日， Grok-1模型发布，拥有3140亿参数。 现在模型的发布速度就和1130近防炮一样。 已经不想用“最强”或者“最大”这个词了。 新的纪录， 几个月内就会被打破。 有了Llama3.1旗舰版， 会有哪些变化？ 第一种企业， 一直在训练大模型的厂商， 哪怕水平不行， 这次借机可以给模型换底座， 第二种企业， 我有个超级APP ………………………………