【网络结构】小议如何跳出魔改网络结构的火坑

公众号关注 “ML_NLP”设为 “星标”，重磅干货，第一时间送达！机器学习算法与自然语言处理出品@公众号原创专栏作者 纵横知乎专栏 | 机器不学习引言0202 年，CV 领域已经相当内卷。知乎上，如何设计一个网络拟合 xx 函数的讨论层出不穷（e.g. 判断一个数是奇数还是偶数、能否被 n 整除）；学术上，为了补充训练集中缺少的先验信息网络结构被修改的摇摇欲坠：为了学习位置信息（距离较远的内容信息）各种 Attention 层出不穷；为了应对旋转（形变）信息， STN 被嫁接在混乱的拓扑图中；对于 low-level 的任务，手动计算一个先验的滤波器都不足为怪；对于 high-level 的任务，GCN 开始被广泛用于捕捉样本间（流形）上的关联关系；就在前几天的 AAAI 上 ………………………………