效果超越ControlNet+IP-Adapter和FreeControl！Ctrl-X：可控文生图...

主要观点总结

本文提出了Ctrl-X，这是一个无需训练和引导的T2I扩散控制结构和外观的框架。Ctrl-X通过前馈结构控制实现与结构图像的结构对齐，并通过语义的外观迁移促进从用户输入图像进行外观迁移。该框架支持多种条件信号和模型架构，具有出色的结构保留和外观迁移能力。本文还提供了大量的实验来验证Ctrl-X的有效性。

关键观点总结

关键观点1: Ctrl-X的特点

这是一个无需训练和引导的即插即用方法，基于预训练的文本到图像扩散模型，提供结构和外观的解耦和零射击控制。支持多个条件信号（结构和外观）和模型架构（例如文本到图像和文本到视频）的通用无需引导的解决方案。

关键观点2: Ctrl-X的贡献

提出一种通用框架，用于免训练、无指导、零射击的T2I扩散，具有结构和外观控制。在条件对齐、文本图像对齐和图像质量方面表现出优异的结果。

关键观点3: Ctrl-X的方法

通过扩散正向过程直接获得噪声结构和外观潜变量，然后从预训练的T2I扩散模型中提取它们的U-Net特征。在对输出潜变量进行去噪时，注入卷积和自注意力特征，并利用自注意力对应关系将空间感知外观统计信息传输到输出图像，以实现结构和外观控制。