也来玩玩目前最大的中文GPT2模型（bert4keras）

©PaperWeekly 原创 · 作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络相信不少读者这几天都看到了清华大学与智源人工智能研究院一起搞的“清源计划”（相关链接《中文版GPT-3来了？智源研究院发布清源 CPM —— 以中文为核心的大规模预训练模型》），里边开源了目前最大的中文 GPT2 模型 CPM-LM（26 亿参数），据说未来还会开源 200 亿甚至 1000 亿参数的模型，要打造“中文界的 GPT3”。▲ 官方给出的CPM-LM的Few Shot效果演示图我们知道，GPT3 不需要 finetune 就可以实现 Few Shot，而目前 CPM-LM 的演示例子中，Few Shot 的效果也是相当不错的，让人跃跃欲试，笔者也不例外。既然要尝试，肯定要将它适配到自己的 bert4keras 中才顺手，于是适配工作便开始了。本以为这是一件很 ………………………………