基于CNN的阅读理解式问答模型：DGCNN

作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm早在年初的一文读懂「Attention is All You Need」| 附代码实现中就已经承诺过会分享 CNN 在 NLP 中的使用心得，然而一直不得其便。这几天终于下定决心来整理一下相关的内容了。背景事不宜迟，先来介绍一下模型的基本情况。模型特点本模型——我称之为 DGCNN——是基于 CNN 和简单的 Attention 的模型，由于没有用到 RNN 结构，因此速度相当快，而且是专门为这种 WebQA 式的任务定制的，因此也相当轻量级。SQUAD 排行榜前面的模型，如 AoA、R-Net 等，都用到了 RNN，并且还伴有比较复杂的注意力交互机制，而这些东西在 DGCNN 中基本都没有出现。 这是一个在 GTX1060 上都可以几个小时训练 ………………………………