一个续写故事达到人类水平的AI，OpenAI大规模无监督语言模型GPT-2

AI 科技评论按：模型大小的比拼还在继续！自谷歌大脑的 2.77 亿参数的语言模型 Transformer-XL 之后，OpenAI 也完成了自己具有 15 亿个参数的语言模型 GPT-2，而且这个模型还有一项惊人的能力，就是从短句续写成篇的文章。雷锋网 AI 科技评论简单介绍如下。GPT-2 介绍2018 年 6 月，OpenAI 发表论文介绍了自己的语言模型 GPT，它基于 Transformer 架构，用先在大规模语料上进行无监督预训练、再在小得多的有监督数据集上为具体任务进行精细调节（fine-tune）的方式，不依赖针对单独任务的模型设计技巧就一次性在多个任务中取得了很好的表现。这也是 2018 年中自然语言处理领域的研究趋势，就像计算机视觉领域流行 ImageNet 预训练模型一样。这次的 GPT-2 是 GPT 的直接技术升级版本 ………………………………