KAN网络技术最全解析——最热KAN能否干掉MLP和Transformer？

文章预览

大模型智能｜分享 来源 | 陈巍 博士@知乎 陈巍：KAN网络结构思路来自Kolmogorov-Arnold表示定理。MLP 在节点（“神经元”）上具有固定的激活函数，而 KAN 在边（“权重”）上具有可学习的激活函数。在数据拟合和 PDE 求解中，较小的 KAN 可以比较大的 MLP 获得更好的准确性。 相对MLP，KAN也具备更好的可解释性，适合作为数学和物理研究中的辅助模型，帮助发现和寻找更基础的数值规律。 MLP与KAN对比 与传统的MLP 相比，KAN 有4个主要特点： 1）激活函数位于“边”而不是节点（Node）上； 2）激活函数是可学习的而不是固定的； 3）可以使用非线性核函数来替代MLP“边”（Edge）上的线性函数； 4）可以设定细粒度的结点（Knot）来提高逼近精度。 就我们来看，由于可以设置单独的激活层来替代“边”上激活的结构（相当于每个“边”上插入一个节点），因此 ………………………………