学界 | 谁来拯救集体失灵的NLP模型？

近年来，机器在自然语言领域屡屡战胜人类的报道层出不穷。机器能够像人类一样阅读文档并回答问题，确定某一给定的语句是否在语义上蕴含另一给定的语句，还能处理翻译任务。更重要的是，机器的表现甚至优于人类。如此一来，我们理应得出这样的结论：如果机器能够胜任所有这样的任务，那么他们一定具备真正的语言理解与推理能力。然而，事实并非如此。大量最新研究表明，这些先进的模型其实异常脆弱。比如，在不改变原意的情况下修改文本时，模型就会出现各种错误。例如~jia与Liang发现了BiDAF阅读理解模型存在的问题。上图来自Jia与Liang。在阅读理解任务中，“精确度”的准确含义可在脚注2查阅。Belinkov与Bisk发现了基于字符的神经机器翻译模型存在的问 ………………………………