180G！中文ELECTRA预训练模型再升级

声明：本文转载自 哈工大讯飞联合实验室 公众号在今年3月，哈工大讯飞联合实验室推出了中文ELECTRA预训练模型，并将相关资源进行开源，目前在GitHub上已获得580个star。本次更新中，我们将预训练语料从原有的约20G提升至180G，利用接近9倍大小的数据集。在阅读理解、自然语言推断、句对分类等中文自然语言处理任务中，ELECTRA-180G相比原版ELECTRA获得了显著性能提升。欢迎各位读者下载试用相关模型。项目地址：http://github.com/ymcui/Chinese-ELECTRAELECTRA简介ELECTRA提出了一套新的预训练框架，其中包含两个部分：Generator和Discriminator。Generator: 一个小的MLM，在[MASK]的位置预测原来的词。Generator将用来把输入文本做部分词的替换。Discriminator: 判断输入句子中的每个词是否被替换 ………………………………