【阿姆斯特丹博士论文】使用变分自编码器学习有用的表示，200页pdf

Variational Autoencoders (VAEs) 是将概率论方法与深度学习方法结合的最著名框架之一。与许多传统的概率模型一样，VAE 通常追求两个相互关联的目标。第一个目标是近似数据的底层分布，从而能够生成新的样本，这些样本反映了从真实分布中抽取的样本的特性。第二个目标侧重于从数据中提取有价值的见解。本博士论文关注后一个目标，探索各种归纳偏置以指导模型从数据中学习有用的表示。我们探索的第一种归纳偏置是通过修改目标函数来对潜在空间施加某些约束，例如层次独立性，这是学习解耦表示的一个期望属性。我们接下来检验的归纳偏置是将结构纳入模型的潜在空间，使其更符合我们对底层数据的先验知识，正如我们在神经主题模型的案例中所示。我们实验的另一个类似的归纳偏置是设计模型的潜在空间，使其几何结构与数据的内在流形相 ………………………………