【MIT博士论文】非参数高维模型：稀疏性、效率、可解释性，296页pdf

文章预览

本论文探讨了机器学习中的集成方法，这是一种通过联合训练较简单的基模型来构建预测模型的技术。本文考察了三种类型的集成方法：加性模型、树集成模型和专家混合模型。每种集成方法都有特定的结构：加性模型可以涉及具有单变量或双变量的基学习器，树集成模型使用决策树作为基学习器，而专家混合模型通常采用神经网络。本文的重点是考虑这些方法中的各种稀疏性和结构约束，并开发基于优化的方法，以提高训练效率、推理能力和/或可解释性。 在第一部分中，我们研究了在组件选择约束和额外的结构约束（例如层级交互）下的加性模型与交互 。我们提出了不同的基于优化的公式，并提出了高效的算法来学习一个良好的组件子集。我们开发了两个工具包，能够扩展到大样本量和大量双变量交互的数据集。 在第二部分中，我们研究了树 ………………………………