Attention isn’t all you need！BERT的力量之源远不止注意力

选自medium作者：Damien Sileo机器之心编译参与：Geek AI、路本文尝试从自然语言理解的角度解释 BERT 的强大能力。作者指出Transformer不只有注意力（解析），还注重组合，而解析／组合正是自然语言理解的框架。 BERT 为何如此重要 BERT 是谷歌近期发布的自然语言处理模型，它在问答系统、自然语言推理和释义检测（paraphrase detection）等任务中取得了突破性的进展。由于 BERT 是公开可用的，它在研究社区中很受欢迎。  下图显示了 GLUE 基准测试分数的演变趋势，GLUE 基准测试分数即在多个自然语言处理评估任务中的平均得分。 虽然尚不清楚是否所有的 GLUE 任务都非常有意义，但是基于 Transformer 编码器的通用模型（Open-GPT、BERT 和 BigBird）在不到一年的时间内缩小了与任务专 ………………………………