写在Meta大跌之后：Llama3与Scaling Law

近期AI硬件股票随着市场避险情绪上升经历了一轮调整，坊间也开始出现对GPT5能力提升和发布日期的担忧。正值此时，Meta突然发布了Llama3的两个版本。Llama3相对于Llama2展现出了显著的进步，且作为一个开源模型，吸引了很多开发者尝试和讨论。因此再次点燃了业界的热情，引发了网络上诸多讨论。source: https://chat.lmsys.org/?leaderboard as of Apr 25 2024客观来说，Llama3较Llama2取得了相当大的进步。根据Chatbot Arena这一用户实测模型进行能力比较的平台排名，Llama2仍位于榜单靠后位置，而Llama3 70B Instruct已跻身前十，位于Google和Anthropic最新中等规模模型Gemini 1.5 Pro和Claude 3 Sonnet之间。这令人对其尚未发布的4000亿参数版本充满期待。然而，我们也应看到硬币的另一面。尽管Meta通过Llama3展现出了在生成式AI领域的巨大进步，但相应地，其在AI方面的投入也明显增加 ………………………………