专栏名称: PaperWeekly
PaperWeekly是一个分享知识和交流学问的学术组织,关注的领域是自然语言处理的各个方向。我们热爱知识,分享知识,希望通过我们大家的努力为自然语言处理的发展做出一点点贡献。我们每周会分享一期特定话题的论文笔记和本周值得读的相关论文。
今天看啥  ›  专栏  ›  PaperWeekly

Perturbed Masking:和参数无关的预训练模型分析方法

PaperWeekly  · 公众号  · 科研  · 2020-11-22 13:28
©PaperWeekly 原创 · 作者|蔡杰学校|北京大学硕士生研究方向|问答系统论文标题:Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT论文来源:ACL 2020论文链接:https://arxiv.org/abs/2004.14786代码链接:https://github.com/Frank-Smith/Perturbed-Masking引言本文是一篇分析 BERT 模型的文章。通常分析 BERT 的时候研究人员会设计一些 probing 任务,并通过 BERT 的每一层参数来尝试解决这些任务,如果某一层能够很好的解决某一任务,那就说明 BERT 在这一层是学到了和该任务相关的语言学信息的。probing 任务通常被设计为一个简单的神经网络(比如分类任务通常在 BERT 后接一层的 FFN),但是这种做法有个问题:我们无法确定到底是 BERT 本身,还是添加的简单神经网络学到了这些相关 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照