加入Transformer-XL，这个PyTorch包能调用各种NLP预训练模型

机器之心报道参与：思源、路作为预训练模型，BERT 目前常充当系统的重要模块，并衍生出大量 NLP 项目。但是 BERT 官方实现基于 TensorFLow 框架，因此那些借助 PyTorch 实现的 NLP 系统可能并不方便嵌入它。为此，开发者从每一个 OP 开始重新用 PyTorch 预训练 BERT 等模型。这个项目不仅提供预训练 BERT、GPT 和 Transformer-XL 模型，同时还提供对应的微调示例和代码。PT-BERT 项目地址：https://github.com/huggingface/pytorch-pretrained-BERT短短两个多月以来，该项目已经获得了 3 千多的收藏量，而这两天发布的 0.5 版本更是收录了由谷歌和 CMU 最新提出的 Transformer-XL 模型。在 0.5 版本的更新中，它主要提供了两个新的预训练模型，即在 Toronto Book Corpus 上预训练的 Open AI GPT 模型和在 WikiText 103 上预 ………………………………