今天看啥  ›  专栏  ›  机器学习算法与自然语言处理

BERT, RoBERTa, DistilBERT, XLNet的用法对比

机器学习算法与自然语言处理  · 公众号  ·  · 2019-09-23 15:00

文章预览

点击上方“ MLNLP ”,选择“星标”公众号 重磅干货,第一时间送达 转载自公众号:AI科技评论 导读: BERT, RoBERTa, DistilBERT, XLNet到底哪家强? 在不同的研究领域和应用场景如何选择成了大难题。 凡事莫慌,这篇文章帮你理清思路。 BERT 以及后续模型 谷歌基于transformer的BERT系列一经问世就在NLP领域掀起了一场风暴,在几项任务中的表现可谓势头强劲,已经超越了先前沿用的最先进的技术。 最近,谷歌对BERT进行了改版,我将对比改版前后主要的相似点和不同点,以便你可以选择在研究或应用中使用哪一种。 BERT是一个双向transformer,用于对大量未标记的文本数据进行预训练,以学习一种语言表示形式,这种语言表示形式可用于对特定机器学习任务进行微调。 虽然BERT在 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览