专栏名称: AI科技评论
「AI科技评论」是国内顶尖人工智能媒体和产业服务平台,专注全球 AI 业界、学术和开发三大方向的深度报道。
今天看啥  ›  专栏  ›  AI科技评论

「国王-男人+女人=皇后」背后的词类比原理究竟为何?| ACL 2019

AI科技评论  · 公众号  · AI  · 2019-07-10 18:40
有实验论证的加持,比过去的解释更为可靠!AI 科技评论按:在近些年的自然语言处理研究中,「词类比」是一个十分有趣的现象,最经典的例子莫过于「国王-男人+女人=皇后」。然而,如何将神经网路的黑盒拆开从而解释这一神奇的现象,一直都是有待探索的有趣的科学问题。近日,ACL 2019 上一篇名为「Towards Understanding Linear Word Analogies」(https://arxiv.org/abs/1810.04882)的论文对该问题进行了探究,从 csPMI 理论的角度对此进行了解释。众所周知,词向量有一个神奇的特性,那就是:我们往往可以通过向量的算术来实现单词的类比。最著名的例子就是: 但这是为什么呢?为什么算术运算符适用于像「word2vec」这样的非线性模型生成的向量呢?在向量空间中,要想通过训练 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照