注意力机制可解释吗？这篇ACL 2019论文说……

选自arXiv作者：Sofia Serrano、Noah A. Smith机器之心编译注意力机制最近推动了一系列 NLP 任务的发展。由于注意力层可以计算层的表征权重，也被认为可以用于发现模型认为重要的信息（如特定的语境词语）。研究人员通过修改已训练的文本分类模型中的注意力权重，测试了这一假设。并且分析了导致模型预测发生变化的原因。研究人员观察到，尽管在一些案例中，高注意力权重对模型的预测有更高的影响，但他们也发现了许多和这一现象不同的案例。研究者认为，虽然注意力机制预测了输入部分相对于模型整体的重要性，但这不是一个保险的说明重要性的方法。此外，相比之前机器之心报道的注意力能否提高模型可解释性的文章，本文更多的从语境词语级别（contextualized ………………………………