专栏名称: 机器之心
专业的人工智能媒体和产业服务平台
目录
相关文章推荐
宝玉xp  ·  DALL-E 3 ...·  2 天前  
宝玉xp  ·  GTC ...·  5 天前  
宝玉xp  ·  AI ...·  6 天前  
今天看啥  ›  专栏  ›  机器之心

中文最佳,哈工大讯飞联合发布全词覆盖中文BERT预训练模型

机器之心  · 公众号  · AI  · 2019-06-21 13:51
机器之心报道参与:一鸣昨日,机器之心报道了 CMU 全新模型 XLNet 在 20 项任务上碾压 BERT 的研究,引起了极大的关注。而在中文领域,哈工大讯飞联合实验室也于昨日发布了基于全词覆盖的中文 BERT 预训练模型,在多个中文数据集上取得了当前中文预训练模型的最佳水平,效果甚至超过了原版 BERT、ERINE 等中文预训练模型。基于 Transformers 的双向编码表示(BERT)在多个自然语言处理任务中取得了广泛的性能提升。在预训练语言模型时,需要对语料进行 mask 操作,使模型在看不见 token 的情况下对 mask 的词语进行预测。然而,基于单个 token 的 mask 方法训练中文语料,可能忽略了中文分词的作用。因此,如果能够 mask 词语中每一个组成的 token,可以更好的捕捉词与词的边界 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照