ICML 2024 | 基于自举法的扩散模型无数据蒸馏

主要观点总结

本文介绍了论文“Data-free Distillation of Diffusion Models with Bootstrapping 基于自举法的扩散模型无数据蒸馏”，该论文提出了一种名为BOOT的无数据蒸馏方法，通过自举法实现单步推理。该方法学习一个时间条件模型，能根据任意时间步预测预训练扩散模型教师的输出。

关键观点总结

关键观点1: 论文提出的创新点

提出了一种名为BOOT的无数据蒸馏方法，通过自举法实现单步推理，学习一个时间条件模型，能够根据任意时间步预测预训练扩散模型教师的输出。

关键观点2: 论文引入的信号常微分方程（Signal-ODE）

为解决训练学生模型有效预测中间扩散模型变量的挑战，提出了预测xt的低频“信号”分量的Signal-ODE。

关键观点3: 论文中的自举学习目标

通过匹配Signal-ODE的两边，得到学习目标LDEθ和近似形式LBSθ，用于学习单步预测模型。

关键观点4: 论文方法的应用

BOOT方法可直接应用于条件扩散模型的蒸馏，如文本到图像生成。在训练目标中直接使用修改后的˜fϕ替换原始fϕ，并可学习依赖于引导权重w的学生模型。