一个有情怀的公众号。机器学习、自然语言处理、算法等知识集中营、期待与你相遇~
今天看啥  ›  专栏  ›  机器学习算法与自然语言处理

【语境化】BERT, ELMo, & GPT-2: 这些上下文相关的表示到底有多上下文化?

机器学习算法与自然语言处理  · 公众号  ·  · 2020-02-16 00:02
公众号关注 “ML_NLP”设为 “星标”,重磅干货,第一时间送达!作者:Kawin Ethayarajh编译:ronghuaiyang导读具有上下文信息的词表示到底有多大程度的上下文化?这里给出了定量的分析。将上下文信息放到词嵌入中 — 就像BERT,ELMo和GPT-2 — 已经证明了是NLP的一个分水岭的想法了。使用具有上下文信息的词表示来替换静态词向量(例如word2vec),在每个NLP任务上都得到了非常显著的提升。但是这些上下文化的表达到底有多大程度的上下文化呢?想想“mouse”这个词。它有多种词义,一个指的是啮齿动物,另一个指的是设备。BERT是否有效地在每个词的意义上创造了一种“mouse”的表达形式?或者BERT创造了无数个“mouse”的形象,每一个都是和特定的上下文相关?在我们的EMNL ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照