专栏名称: 赛尔实验室
哈尔滨工业大学社会计算与信息检索研究中心
今天看啥  ›  专栏  ›  赛尔实验室

从静态到动态,词表征近几十年发展回顾

赛尔实验室  · 公众号  · 程序员  · 2020-04-02 12:04
编者按:近日,哈工大SCIR王宇轩、侯宇泰、车万翔和刘挺等人在《机器学习和神经机械学国际期刊》上发表了一篇关于词嵌入的综述论文,用一个全新的视角 —— 词嵌入从静态到动态的发展 —— 对词表示模型做了全面回顾。在自然语言处理技术的整个发展历史中,如何把最小语义元素「单词」做数字化表示,一直都是一个研究热点。近几年,用海量无标记文本数据训练出的低维单词表征向量,也就是词嵌入 embedding,已经在包括词性标注、句法解析、命名实体识别、语意角色标注、机器翻译等许多任务中展现出了有效性。但这种词嵌入是静态的,因为只要训练过程完成之后,它们就不再会随着新的上下文而变化了。虽然静态词嵌入有很高的效率,但它静态的本质属 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照