【CVPR2024】平衡之道：扩散模型中的分布指导去偏差

扩散模型（DMs）已经成为具有前所未有的图像生成能力的强大生成模型。这些模型广泛用于数据增强和创意应用。然而，DMs反映了训练数据集中存在的偏见。在面部图像的上下文中，这一点尤其令人关注，其中DM倾向于偏好某一人口亚群而不是其他亚群（例如，女性对比男性）。在这项工作中，我们提出了一种不依赖额外数据或模型重新训练的去偏差DMs的方法。具体来说，我们提出了分布指导，这种方法强制生成的图像遵循预设的属性分布。为了实现这一点，我们建立在一个关键见解上，即去噪UNet的潜在特征包含丰富的人口统计学语义，同样可以被利用来指导无偏差的生成。我们训练了属性分布预测器（ADP）-一个小型的多层感知机（mlp），它将潜在特征映射到属性的分布上。ADP是通过从现有属性分类器生成的伪标签训练的。提出的分布指导与ADP使 ………………………………