Kaggle最流行NLP方法演化史，从词袋到Transformer

选自Medium作者：Zelros AI机器之心编译参与：魔王Kaggle 竞赛史也是实践型 NLP 的历史。根据语境，此处「it」指代「animal」或「street」。（来源：https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html）著名数据科学竞赛平台 Kaggle 成立于 2010 年，是了解机器学习进化趋势的重要观测器。Kaggle 见证了几代技术突破，吸引了数千名从业者和数百万论坛讨论。在 Kaggle 平台的众多挑战中，自然语言科学（NLP）尤其受到关注。的确，这几个月以来该领域出现了多项振奋人心的创新。最近的创新则莫过于 Transformer 和预训练语言模型了。本文将透过 Kaggle 的历史简要介绍 NLP 的发展进程。2016 年之前：词袋和 TF-IDF 称霸在 2016 年之前，解决并赢得 Kaggle NLP 挑战的标准方式是：使用词袋 ………………………………