Ilya向全世界宣布：预训练结束了！全球AI数据耗尽，超级智能才是未来

主要观点总结

文章主要描述了Ilya在NeurIPS 2024上的演讲内容，他宣布预训练将会终结，并指出智能体、合成数据和推理时计算是未来的突破点。文章还涉及了深度学习假设、自回归模型、LSTM、Scaling Law、联结主义等话题。Ilya强调了数据量的问题，指出尽管计算能力不断增长，但数据量并没有增长，预训练时代即将结束。他也谈到了超级智能，认为它与现有的AI不同，具备实际意义上的智能体特性，并具备推理能力。

关键观点总结

关键观点1: Ilya宣布预训练将终结，指出智能体、合成数据和推理时计算是未来的突破点。

Ilya在NeurIPS 2024上的演讲中，宣布预训练时代即将结束，未来的突破点在于智能体、合成数据和推理时计算。

关键观点2: Ilya强调了数据量的重要性，指出数据是AI的化石燃料，并且我们已经达到了数据峰值，不可能再有更多数据了。

Ilya指出，尽管计算能力不断增长，但数据量并没有增长，现存的数据仍可以支持我们走得很远。但这也是预训练时代终结的原因之一。

关键观点3: Ilya谈到了超级智能，认为它与现有的AI不同，具备实际意义上的智能体特性，并能进行推理。

Ilya提到超级智能是公认的发展方向，它与传统AI不同，具备实际意义上的智能体特性，并能够进行推理。他还谈到了推理引入的复杂性和不可预测性。