看啥推荐读物
欢迎你来到深度学习算法与计算机视觉,这是一个专注于深度学习算法的公众号,是一个程序员分享心得体会的平台,欢迎加入我们的大家庭。添加个人账号:DL-CVer-RogerLi进入群聊,共同进步
今天看啥  ›  专栏  ›  深度学习算法与计算机视觉

原作者带队,LSTM真杀回来了!

深度学习算法与计算机视觉  · 公众号  ·  · 2024-05-12 00:00
深度学习算法与计算机视觉 | 分享来源丨机器之心编辑 | 蛋酱LSTM:这次重生,我要夺回 Transformer 拿走的一切。20 世纪 90 年代,长短时记忆(LSTM)方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来,LSTM 经受住了时间的考验,并为众多深度学习的成功案例做出了贡献。然而,以可并行自注意力为核心 Transformer 横空出世之后,LSTM 自身所存在的局限性使其风光不再。当人们都以为 Transformer 在语言模型领域稳坐江山的时候,LSTM 又杀回来了 —— 这次,是以 xLSTM 的身份。5 月 8 日,LSTM 提出者和奠基者 Sepp Hochreiter 在 arXiv 上传了 xLSTM 的预印本论文。论文的所属机构中还出现了一家叫做「NXAI」的公司,Sepp Hochreiter 表示:「借助 xLSTM,我们缩小了与现有最先进 LLM 的差距。借助 NXAI,我们已开始构建自己的欧洲 LLM。」论文标题:xLSTM: Extended Long S ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照