一封来自Transformer之父的分手信：8年了！世界需要新的AI架构

主要观点总结

本文描述了LLion Jones对AI现状的反思和批评，特别是对Transformer技术的过度依赖和过度优化的问题。他认为这限制了新技术的应用和发展，并呼吁更多探索和自由创造的环境。他还分享了其新创业公司Sakana AI的情况和探索性的研究环境对吸引人才的重要性。

关键观点总结

关键观点1: LLion Jones认为当前AI研究过于依赖Transformer技术，导致研究被收窄，缺乏真正的创新。

Jones担忧我们可能正在重演历史，过度依赖一个旧架构而忽视新的可能性。他呼吁增加探索性研究的自由度，鼓励研究人员探索新的技术和架构。

关键观点2: Jones提出应重视想象力与创造力的培养，而非仅仅追求低风险、可发表和见效快的研究目标。

他认为Sakana AI的“连续思维机器”项目是一个成功的例子，该项目在神经网络中融入了类似大脑的同步机制，这种自由探索的环境对于吸引有才华的人才非常重要。

关键观点3: Jones强调了自由比高薪更能吸引人才的观点。

他认为聪明人更看重自由的敏感度，而不是报酬。因此，创建一个自由探索的环境对于吸引和留住顶尖人才至关重要。

关键观点4: Jones并不是要彻底放弃Transformer技术，而是呼吁行业增加探索性研究的自由度。

他认为现有技术上还有大量重要工作，未来几年也会继续创造价值。但是我们需要改变研究模式，将探索旋钮拧大一些，公开分享有趣的发现。

关键观点5: Transformer技术的影响仍然持续，但作者团队的成员已经各自发展。

除了Jones之外的其他几位作者已经分散在各个项目中，但Transformer的影响仍然继续扩大，奠定了如今的AI时代基础。