刚刚，Google发布24个小型BERT模型，直接通过MLM损失进行预训练

  新智元原创  编辑：鹏飞【新智元导读】Google刚刚发布了24个小型BERT模型，使用WordPiece masking进行训练，具有更少的层数，在MLM蒸馏的更精细的预训练策略方面极具优势，适用于资源受限的场景，并鼓励构建更紧凑的模型。「新智元急聘主笔、编辑、运营经理、客户经理，添加HR微信（Dr-wly）了解详情。」Google最新推出24个精简的BERT模型供下载，赶在白色情人节之前为广大NLP研究者送上一份厚礼。BERT胜在模型大，也败在模型大！BERT一出世就带着「狂破11项记录」的光环，用压倒性的参数量暴力突围。可以说，BERT的成功，成就成在模型大。但大，一方面成就了BERT，另一方面也成了它无法被更广泛应用的障碍，这体现在三个方面。障碍一：占资源巨大的体 ………………………………