209-A1.1｜长篇故事可视化；HR图像生成，公共资源训练文生图；迭代反馈组合多种模型优势互补，从...

主要观点总结

本文主要介绍了六个文本转图像的生成方法的研究进展，包括Story-Adapter、AP-LDM、EvolveDirector、IterComp、InstructG2I等，它们都致力于提高文本转图像生成的分辨率、一致性、效率等方面。这些方法运用了不同的技术和策略，如迭代框架、全局参考交叉注意力模块、训练模型画廊等，以改善生成的图像质量。

关键观点总结

关键观点1: Story-Adapter框架解决长故事可视化中的语义一致性挑战，通过迭代优化逐步改善图像生成质量。

Story-Adapter利用前一轮生成的所有图像和文本提示来逐步优化每一幅生成的图像，提高生成能力和细节的准确性。

关键观点2: AP-LDM通过将潜在扩散模型（LDM）的去噪过程分为两个阶段来提高高分辨率图像生成的质量和效率。

第一阶段生成高质量潜在表示，第二阶段逐步高分辨率去噪，减少伪影，提高生成图像的结构一致性和推理速度。

关键观点3: EvolveDirector利用公共资源训练出与先进文本到图像生成模型相媲美的模型，通过动态数据集演化指导基础模型的训练。

EvolveDirector使用先进模型的生成数据训练基础模型，并利用视觉-语言模型（VLM）动态维护训练数据集，减少所需数据量。

关键观点4: IterComp利用迭代反馈学习来增强组合生成能力，从模型画廊中汇聚多个模型的组合感知偏好。

IterComp通过策划模型画廊收集组合感知模型偏好数据集，训练组合感知奖励模型，并采用迭代反馈学习方法优化基础扩散模型和奖励模型的组合生成能力。

关键观点5: InstructG2I从多模态属性图（MMAGs）生成图像，解决图的规模爆炸和实体间依赖关系的问题。

InstructG2I利用图结构和多模态信息采样信息邻居，并通过Graph-QFormer编码器指导扩散的去噪过程，实现可控的生成。