文章预览
大数据文摘授权转载自将门创投 作者：赵天辰 我们提出了MixDQ，一种面向少步扩散模型的混合比特量化方案。 MixDQ分析定位了“少步扩散模型量化”的独特问题，并提出针对性解决方案。 针对少步生成模型，在现有量化方案在W8A8损失严重的情况下，MixDQ在能够实现多方面指标（图像质量，文图吻合，人为偏好）无损的W8A8量化，W4A8无明显视觉损失。 我们实现了高效的INT8 GPU算子，以实现实际的显存与延迟优化，并将模型开源为Huggingface Pipeline，通过几行代码即可调用。 论文标题： MixDQ: Memory-Efficient Few-Step Text-to-Image Diffusion Models with Metric-Decoupled Mixed Precision Quantization 论文链接： https://arxiv.org/abs/2405.17873 Project page: https://a-suozhang.xyz/mixdq.github.io/ Huggingface Pipeline: https://huggingface.co/nics-efc/MixDQ 代码链接： https://github.com/A-suozhang/MixDQ 前言 近年来，扩散
………………………………
