遗珠之作？谷歌Quoc Le这篇NLP预训练模型论文值得一看

选自 arXiv作者：Kevin Clark、Minh-Thang Luong、Christopher D. Manning、Quoc V. Le机器之心编译参与：路在 BERT 论文出现的几周前，斯坦福大学和谷歌大脑合作的一篇同样关于 NLP 预训练模型的论文发布。该研究提出一种新型自训练算法 Cross-View Training (CVT)，结合预训练词向量和自训练算法，使用标注数据和无标注数据的混合，从而改善 Bi-LSTM 句子编码器的表征，进而改善整个模型。此外，CVT 与多任务学习结合起来后效果尤为显著。在大量标注数据上训练的深度学习模型效果最好。但是，数据标注成本很高，这刺激了人们对有效半监督学习技术的需求（半监督学习可以利用无标注样本）。在神经自然语言处理任务中广泛使用且成功的一种半监督学习策略是预训练词向量 (Mikolov et al., ………………………………