专栏名称: 专知
专知,为人工智能从业者服务,提供专业可信的人工智能知识与技术服务,让认知协作更快更好!
今天看啥  ›  专栏  ›  专知

【NeurIPS2021】神经解释器的动态推理

专知  · 公众号  ·  · 2021-10-16 17:00
现代神经网络体系结构可以利用大量的数据来很好地泛化训练分布。然而,对于从看不见的但相关的分布中提取的数据,它们的系统泛化能力较差,这需要组合推理和知识重用。在这项工作中,我们提出了神经解释器,这是一种将自注意网络中的推理分解为一个模块系统的架构,我们称之为函数。模型的输入以端到端学习的方式通过一系列函数进行路由。该体系结构可以灵活地沿宽度和深度组合计算,易于训练后的能力扩展。为了证明神经解释器的通用性,我们在两个不同的环境中评估它: 图像分类和视觉抽象推理。在前者中,我们证明了神经解释器在使用更少参数的情况下,与视觉transformer 的表现相当,同时可以以样本有效的方式转移到新任务中。在后者中,我们发



文章无法展示全部,请购买VIP后 使用网页访问内容 或者 使用第三方RSS订阅工具访问内容





今天看啥 - 让阅读更高品质
本文地址:http://www.jintiankansha.me/t/m07LsuWw6T
 
推荐文章