LeCun力荐：Facebook推出十亿参数超大容量存储器

  新智元报道  来源：Twietter  编辑：大明、鹏飞【新智元导读】Facebook AI又出新作，LeCun力荐！在BERT等先进架构中插入一个“存储器”层，能极大提升网络容量和性能，同时保持计算成本基本不变。实验表明，采用新模型的12层网络性能即与24层BERT-large模型的性能相当，运行时间减少一半。更多AI话题欢迎来新智元和群查看。Facebook AI又出新作，在神经网络中加入一个结构化存储器层，极大扩充了网络容量和参数数量，性能提升明显，但计算成本基本保持不变，尤其适合NLP任务。 图灵奖得主，AI大神Yann LeCun发Twitter推荐。LeCun认为，本文用product key memory层替代了BERT模型中的结构层，实现了与后者相当的性能，计算量降低了一半。 本文介绍了一种可以轻松集成到神经 ………………………………