迄今最大模型？OpenAI发布参数量高达15亿的通用语言模型GPT-2

机器之心报道机器之心编辑部几个月前谷歌推出的语言模型 BERT 引发了业内的广泛关注，其 3 亿参数量刷新 11 项纪录的成绩让人不禁赞叹。昨天，OpenAI 推出了一种更为强大的算法，这一次模型达到了 15 亿参数。代码地址：https://github.com/openai/gpt-2这种机器学习算法不仅在很多任务上达到了业内最佳水平，还可以根据一小段话自动「脑补」出大段连贯的文本，如有需要，人们可以通过一些调整让计算机模拟不同的写作风格。看起来可以用来自动生成「假新闻」。对此，OpenAI 甚至表示：「出于对模型可能遭恶意应用的担忧，我们本次并没有发布所有预训练权重。」如此强大的模型却不公开所有代码？Kyunghyun Cho 并不满意：「要是这样，为了人类我不得不删除迄今为止自己 ………………………………