BitsFusion 权重量化方法，使 UNet 模型体积减少一半，在所有评估中一致地超过了全精度模...

主要观点总结

本文介绍了一种名为BitsFusion的方法，该方法旨在将大规模的扩散模型量化到极低比特，以实现模型体积的显著减小，并在多种应用中提高性能。文章详细阐述了混合精度量化技术，针对不同层分配优化位宽以减少整体量化误差。作者还介绍了训练极低比特扩散模型的系列技术，包括初始化量化模型以提高性能、改进训练流程等。此外，文章提供了广泛的实验验证，包括实现细节、评估指标等。该方法有望为资源受限的设备上的扩散模型应用带来重大改进。

关键观点总结

关键观点1: BitsFusion方法旨在将大规模的扩散模型量化到极低比特。

该方法通过使用混合精度量化技术和一系列训练技术，实现了模型体积的显著减小和性能的提高。

关键观点2: 混合精度量化技术的应用。

该方法针对不同层分配优化位宽，以减少整体量化误差。此外，还使用了时间嵌入的预计算和缓存、添加平衡整数以及用于缩放因子初始化的交替优化等技术。

关键观点3: 训练极低比特扩散模型的系列技术。

作者使用两阶段训练流程来初始化量化UNet，并在训练过程中引入了CFG感知量化蒸馏、特征蒸馏和量化误差感知的时间步采样等技术。

关键观点4: 广泛的实验验证。

作者在MS-COCO、TIFA、GenEval和PartiPrompts等多个基准数据集上进行了评估，证明了方法的有效性。

文章预览

基于扩散的图像生成模型近年来通过展示合成高质量内容的能力取得了巨大成功。然而，这些模型包含了大量的参数，导致模型体积显著增大。在多种应用中，尤其是那些在资源受限设备上运行的应用中，保存和传输它们成为一个主要瓶颈。 在这项工作中，作者开发了一种新颖的权重量化方法，将Stable Diffusion v1.5中的UNet量化到 位，实现了比原始模型小 的模型体积，同时展示出甚至比原始模型更优质的生成质量。 作者的方法包括了几项创新技术，例如为每个层分配最佳位数，初始化量化模型以获得更好的性能，以及改进训练策略以显著减少量化误差。此外，作者通过广泛的基准数据集评估和人工评估来证明作者量化模型的卓越生成质量。 1 Introduction 近期在开发基于扩散的图像生成模型方面的努力已经展示了在合成高保真和逼真图像方面的显著成 ………………………………