清华TsinghuaNLP团队，登上Nature子刊封面：“模型的能力密度，每3.5个月翻倍”

主要观点总结

本文介绍了登上Nature Machine Intelligence封面的论文《Densing Law of LLMs》的主要内容，包括模型能力密度的指数级增长、参数效率的提升以及推理成本的降低等。文章还讨论了模型能力密度提升的原因以及未来可能的趋势和推论。此外，文章还回顾了实际价格、模型能力进化史以及不同架构的模型特点。

关键观点总结

关键观点1: 论文《Densing Law of LLMs》提出了能力密度的概念，并指出每3.5个月翻倍的能力密度的增长趋势。

论文指出模型能力密度呈指数级增长，倍增周期约为3.5个月，意味着达到同等性能水平所需的参数量每3.5个月减少一半。

关键观点2: 论文揭示了能力密度提升的原因并非通过剪枝或量化技术。

论文发现剪枝和量化会降低模型的密度，而更好的预训练数据和架构才是提高能力密度的关键。后期压缩并不能帮助提升能力密度。

关键观点3: 论文对未来进行了推论，包括推理成本的指数下降、ChatGPT加速密度增长以及端侧设备计算能力的提升等。

根据论文的推论，未来模型密度的快速增长将推动推理成本的大幅下降，同时端侧设备的计算能力也将得到显著提升。

关键观点4: 文章回顾了实际价格的变化以及模型能力的进化史。

文章指出随着技术的进步，模型的实际价格不断降低，性能却不断提升。从GPT-3到GPT-5.1再到国产平替GLM-4.6，价格不断下降而性能不断提升。

关键观点5: 文章介绍了不同架构的模型特点。

文章提到了Dense架构和MoE架构的模型，它们各有优势。Dense架构适合本地部署，体积小；而MoE架构则适合服务器部署，训练/规模化推理成本有优势。