资源 | 最强预训练模型BERT的Pytorch实现（非官方）

选自GitHub作者：Junseong Kim机器之心编译参与：路雪、张倩近期，Google AI 公开了一篇 NLP 论文，介绍了新的语言表征模型 BERT，该模型被认为是最强 NLP 预训练模型，刷新了 11 项 NLP 任务的当前最优性能记录。今日，机器之心发现 GitHub 上出现了 BERT 的 Pytorch 实现，出自 Scatter Lab 的 Junseong Kim。简介谷歌 AI 关于 BERT 的论文展示了该模型在多个 NLP 任务上取得的惊艳结果，包括在 SQuAD v1.1 QA 任务上的 F1 得分超过人类。该论文证明，基于 Transformer（自注意力）的编码器可以有力地替代之前以合理方式训练的语言模型。更重要的是，该论文表明这一预训练语言模型可用于任何 NLP 任务，而无需针对任务定制模型架构。本文主要阐述 BERT 的实现。它的代码非常简单、易懂。一些代码 ………………………………