谷歌发布 AI 语言模型 ELECTRA，将作为 TensorFlow 上的开源模型

在最近的一项研究中，Google 的研究人员提出了“有效学习一种对令牌替换进行准确分类的编码器”（ELECTRA），这是一种 AI 语言训练技术，在具有相同数量的计算资源的情况下，其性能优于现有方法。在发布数月后的这一周，合著者发布了 TensorFlow 的代码库（和预训练的模型），为强大的模型奠定了基础，这些模型能够以最新的准确性执行语言任务。这些模型可能有一天会进入客户服务聊天机器人，或者可能被合并到为执行团队总结报告的工具中。预训练方法通常分为两类：语言模型（例如 OpenAI 的 GPT），该模型从左到右处理输入文本并根据给定的上下文预测下一个单词；以及屏蔽语言模型（例如 Google 的 BERT 和 ALBERT 以及 Facebook 的语言模型 RoBERTa）， ………………………………