KDD 2024 | 从几何的视角理解自监督学习中的冗余消除

主要观点总结

本文是作者关于自监督学习（SSL）领域探索的原创文章，介绍了自监督学习基本范式、现有工作的优缺点，以及作者提出的基于几何视角的新方法。文章涵盖了背景与动机、方法论的详细介绍和实验结果等内容。

关键观点总结

关键观点1: 自监督学习基本范式

大多数自监督学习包括SimCLR、MoCo、Balow Twin、MAE等都是基于特定的损失函数框架。通常SSL的损失函数包含对齐项和其他正则项，以防止模型陷入平凡解。

关键观点2: 现有工作的优缺点

SimCLR等对比学习工作通过InfoNCE损失函数避免维度塌陷，但仍存在子空间塌陷问题。Balow Twin则追求特征空间的Isotropic和Full Rank特性，但优化过程中难以完全达到理想状态。

关键观点3: 作者的新方法

作者从几何视角出发，提出了LogDet Divergence作为新的距离度量，以推动模型远离维度塌陷的解。该方法具有更好的性质，能够更有效地避免维度塌陷问题。

文章预览

©PaperWeekly 原创 · 作者 | 张逸飞 单位 | 香港中文大学 研究方向 | 图数据挖掘 本文算是自己博士期间在 Self-supervised learning（SSL）方向上的又一次探索，作为一个 2020 年入学的 Ph.D., 见证了 SSL 由辉煌的时刻（SimCLR，BalowTwin，MoCo，MAE）逐渐转向了 LLM。这次的工作也为博士生涯划上一个圆满的记号了。 非常荣幸的是，在文章 online 的当天，我们这篇自监督学习的文章得到了来自 Balow Twin 作者的邮件（Yann LeCun 也是作者之一），在邮件中，Stephane 赞许了我们的贡献，并建议了一种基于我们方法的新自监督学方式，并邀请一起合作探讨。 Stephane 建议的这个形式，实际上与我的合作者 Hao Zhu 的发表在 NeurIPS 2022 文章基本一致，感兴趣的可以看这里： https://zhuanlan.zhihu.com/p/570195261 虽然方法一致，但是文章聚焦于图数据，这里不经感叹领域差距还是有点大， ………………………………