从动力学角度看优化算法：SGD ≈ SVM？

©PaperWeekly 原创 · 作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络众所周知，在深度学习之前，机器学习是 SVM（Support Vector Machine，支持向量机）的天下，曾经的它可谓红遍机器学习的大江南北，迷倒万千研究人员，直至今日，“手撕 SVM”仍然是大厂流行的面试题之一。然而，时过境迁，当深度学习流行起来之后，第一个革的就是 SVM 的命，现在只有在某些特别追求效率的场景以及大厂的面试题里边，才能看到 SVM 的踪迹了。峰回路转的是，最近 Arxiv 上的一篇论文 Every Model Learned by Gradient Descent Is Approximately a Kernel Machine 做了一个非常“霸气”的宣言：任何由梯度下降算法学出来的模型，都是可以近似看成是一个 SVM！论文标题：Every Model Learned by Gradient Descent Is Appr ………………………………