理解从深度生成模型到易处理概率电路的提炼过程

文章预览

Understanding the Distillation Process from Deep Generative Models to Tractable Probabilistic Circuits 理解从深度生成模型到易处理概率电路的提炼过程 https://proceedings.mlr.press/v202/liu23x/liu23x.pdf 摘要 概率电路（PCs）是一个通用且统一的计算框架，用于处理可解析的概率模型，这些模型能够高效地执行各种推理任务（例如，计算边缘概率）。为了使复杂现实世界任务具备此类推理能力，Liu等人（2022）提出从表达力更强但解析性较差的深度生成模型中提炼知识（通过潜在变量赋值）。然而，目前仍不清楚是哪些因素使得这种提炼能够取得良好效果。在本文中，我们从理论和实证两方面发现，概率电路的性能可以超过其教师模型。因此，我们不再仅仅从最具表达力的深度生成模型中进行知识提炼，而是研究教师模型和概率电路应具备哪些属性才能实现良好的提炼性能。这为我 ………………………………