把BERT拉下神坛！ACL论文只靠一个“Not”，就把AI阅读理解骤降到盲猜水平

鱼羊 栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI有一篇中选了ACL的论文，打击了以BERT为首的众多阅读理解模型。研究人员认为，包括BERT在内，许多模型的成功都是建立在虚假的线索上。团队用了去年诞生的观点推理理解任务 (ARCT) 考验了BERT。结果发现，只要做个对抗数据集，准确率就从77%降到53%，几乎等同于随机猜。预告一下，这里的对抗并不是把o变成0、把I变成1的小伎俩。实验说明，BERT是依靠数据集里“虚假的统计学线索 (Spurious Statistical Cues) ”来推理的。也就是说，它并不能真正分析出句子之间的逻辑关系。碎成渣渣那么，BERT到底是败在了一项怎样的任务上？观点推理理解任务 (ARCT) ，是Habernal和小伙伴们提出的阅读理解任务，考察的是语言模型的推理能 ………………………………