看啥推荐读物
专栏名称: 磐创AI
AI行业最新动态,机器学习干货文章,深度学习原创博客,深度学习实战项目,Tensorflow中文原创教程,国外最新论文翻译。欢迎喜欢AI、关注深度学习的小伙伴加入我们。
今天看啥  ›  专栏  ›  磐创AI

ALBERT、XLNet,NLP技术发展太快,如何才能跟得上节奏?

磐创AI  · 公众号  ·  · 2019-12-30 17:08
谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD 2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜!ALBERT是一种轻量版本的BERT,利用更好的参数来训练模型,但是效果却反而得到了很大提升!ALBERT的核心思想是采用了两种减少模型参数的方法,比BERT占用的内存空间小很多,同时极大提升了训练速度,更重要的是效果上也有很大的提升! ▲BERT 和 ALBERT 两者的参数量比较。这次发布的模型由Google Lab的 Lan Zhenzhong博士来主导完成,而且Lan Zhenzhong博士正好也是贪心学院的顾问以及教研团队的成员。近期我们也会邀请Zhenzhong博士给大家做一次分享。为了迎接NLP领域的各种变化,贪心学院的《自然语言处理》课程也在不断迭代更新,保证不错过任何2周之 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照