今天看啥  ›  专栏  ›  高能AI

高能总结!用一张图表总结NLP预训练语言模型

高能AI  · 公众号  ·  · 2021-01-25 22:56
文 | 辰鸿辰鸿是JayJay好基友,这次为大家带来了一个高能总结——NLP预训练模型!自从预训练语言模型BERT问世以来,各种围绕BERT的变体就不断被提出,笔者也陆陆续续跟进了一些,之前也私下做了部分笔记,但总觉不够直观,不易将各模型做对比,现以表格的形式重新整理BERT及其部分变体模型。想获取完整表格可在公众号后台回复【预训练】下载,方便大家学习和复习!大家可结合文字版的《NLP算法面试必备!NLP预训练模型的全面总结》一起进行总结回顾哦~表格部分截图如下所示:通过对比部分BERT系列变体,可以看到基于BERT预训练模型主要的优化集中在三个方面:一是改进Masking机制;二是增强预训练任务;三是增大数据量和充分预训练;近两年来预训练模型的技 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照