清华姚班校友等揭 Transformer 致命缺陷，OpenAI 科学家紧急回应：学术界节奏太慢

文章预览

转自 | 新智元 【导读】 一篇报道，在AI圈掀起轩然大波。文中引用了近2年前的论文直击大模型死穴——Transformer触及天花板，却引来OpenAI研究科学家的紧急回应。 谁能想到，一篇于2023年发表的LLM论文，竟然在一年半之后又「火」了。 聊天机器人开始面临根本性的限制 论文中，来自Ai2、华盛顿大学等机构研究人员称，Transformer在组合能力上存在限制。 以基本的乘法为例，让「GPT-4」计算两个三位数的乘积，最初的正确率仅有59%。当乘数增加到4位数时，准确率直接暴降到4%。 论文地址：https://arxiv.org/abs/2305.18654 与此同时，Quanta Magazined还在报道中引用了曾是哥大博士的彭炳辉于2024发表的论文，去论证Transformer存在着根本性的限制。 论文地址：https://arxiv.org/abs/2402.08164 论文地址：https://arxiv.org/abs/2412.02975 一作彭炳辉和导师同样验证了，由于Transformer缺 ………………………………