揭示Transformer重要缺陷！北大提出傅里叶分析神经网络FAN，填补周期性特征建模缺陷

文章预览

↑ 点击 蓝字  关注极市平台 作者丨 机器之心 来源丨机器之心 编辑丨极市平台 极市导读   该架构通过引入傅里叶级数的思想来捕捉数据中的周期性模式，显著提升了模型在周期性建模、符号公式表示、时间序列预测和语言建模等任务上的表现，并有望填补Transformer等基础模型在周期性特征建模方面的缺陷。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文的通讯作者是北京大学计算机学院长聘教授李戈。第一作者：董益宏，北京大学计算机学院 22 级博士生，曾在 ISSTA、FSE、ACL、NeurIPS、TOSEM 等 CCF-A 类 / SCI 一区国际顶级会议和期刊上发表 11 篇学术论文。 周期性现象广泛存在，深刻影响着人类社会和自然科学。作为最重要的基本特性之一，许多规律都显式或隐式地包含周期性，例如天文学中的行星运动、气象学中的季节变化、生物学中 ………………………………