学界 | 最大化互信息来学习深度表示，Bengio等提出Deep INFOMAX

本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载选自arXiv作者：R Devon Hjelm、Bengio等机器之心编译参与：高璇、刘晓坤许多表示学习算法使用像素级的训练目标，当只有一小部分信号在语义层面上起作用时是不利的。在这篇论文中，Bengio 等研究者假设应该更直接地根据信息内容和统计或架构约束来学习表示，据此提出了 Deep INFOMAX（DIM）。该方法可用于学习期望特征的表示，并且在分类任务上优于许多流行的无监督学习方法。他们认为，这是学习「好的」和更条理的表示的一个重要方向，有利于未来的人工智能研究。引言在意识层面上，智能体并不在像素和其他传感器的层面上进行预测和规划，而是在抽象层面上进行预测。因为语义相关的比特数量 ………………………………