文本表达进击：从BERT-flow到BERT-whitening、SimCSE

MLNLP(机器学习算法与自然语言处理)社区是国内外最大的自然语言处理社区之一，汇聚超过50w订阅者，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步。作者｜舒鑫印来源 | PaperWeeklyBERT 预训练模型问世以来，改变了很多 NLP 任务的习惯。很多 NLP 任务都会直接在 BERT 的基础上做一个 fine-tune，构建一个 baseline 模型，既快捷也使用，但 BERT 在做文本表达任务时也有一些明显的缺点。既然有缺点，那这么卷的深度学习领域肯定会有解决方法。于是 BERT-flow、BERT-whitening 及 SimCSE 就来了。最近刚好也在做文本表达类的任务，就把这个任务相关的文章学习总结了一下，欢迎交流 ………………………………