【AI】“梁文锋、杨植麟同一天发论文，关注大模型的未来趋势“

文章预览

来源：AI前线 2 月 18 日，DeepSeek 和月之暗面（Moonshot AI）几乎在同一时间发布了各自最新的研究成果，巧合的是，两篇论文的主题高度一致——都聚焦于改进 Transformer 架构中最核心的注意力机制，旨在提升其处理长上下文的能力并降低计算成本。由此可见，大家都在争相研究如何让 AI 更好地处理长文本，这不仅说明了行业对高效处理长文本的需求非常迫切，也是技术创新竞争进入白热化的缩影。 更有趣的是，两家公司的技术派明星创始人都亲自参与了研究，他们的名字分别出现在各自的论文和技术报告中，此举引发了外界的强烈关注。 2017 年，Transformer 架构被谷歌提出后便在技术圈内掀起热潮，它的出现被认为是 AI 发展史上的重要里程碑。但如此厉害的注意力机制，却有一个问题，它计算起来的复杂程度是和输入序列的长度是相关的，具体来说 ………………………………