今天看啥  ›  专栏  ›  深度学习与NLP

如何评价全新的神经网络架构KAN的爆火,是否有潜力取代MLP?

深度学习与NLP  · 知乎回答  · AI  · 2024-05-03 14:33
来源 | 量子位 ID | QbitAI一种全新的神经网络架构KAN,诞生了!与传统的MLP架构截然不同,且能用更少的参数在数学、物理问题上取得更高精度。比如,200个参数的KANs,就能复现DeepMind用30万参数的MLPs发现数学定理研究。不仅准确性更高,并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊~在函数拟合、偏微分方程求解,甚至处理凝聚态物理方面的任务都比MLP效果要好。而在大模型问题的解决上,KAN天然就能规避掉灾难性遗忘问题,并且注入人类的习惯偏差或领域知识非常容易。来自MIT、加州理工学院、东北大学等团队的研究一出,瞬间引爆一整个科技圈:Yes We KAN!甚至直接引出关于能否替代掉Transformer的MLP层的探讨,有人已经准备开始尝试……有网友表示:这看起来像是机器学习的下一步。让机器学习每个特定神经元的最佳激活,而 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照