RFFT：数据与代码已开源，京东推出广告图生成新方法 | ECCV 2024

主要观点总结

论文提出一种可靠反馈网络（RFNet）与循环生成图片过程结合的方法，以提高广告图片生成的可用性。通过使用RFNet评估生成的广告图片的可用性，结合一致性条件正则化（CC）来微调扩散模型（RFFT），显著提高了生成图片的可用率并减少了尝试次数。此外，论文还构建了一个大规模多模态数据集RF1M来训练RFNet。文章还详细描述了数据集构成、标注及潜在影响。

关键观点总结

关键观点1: 引入多模态可靠反馈网络（RFNet）结合循环生成过程，提高广告图片生成效率。

RFNet模拟人类反馈，利用多种模态信息帮助区分细粒度问题类型。通过循环生成，显著扩展可用图像的数量。

关键观点2: 构建大规模多模态数据集RF1M用于训练RFNet。

RF1M数据集包含超过一百万张生成的广告图像和丰富的注释，专为广告领域设计，解决了该领域对数据资源的迫切需求。

关键观点3: 采用创新的一致条件正则化（CC）来微调扩散模型（RFFT），提高生成图像的可用率。

RFFT方法利用人类反馈精化扩散模型，同时采用CC正则化防止生成图像的美学品质降低。

文章预览

论文将多模态可靠反馈网络（ RFNet ）结合到一个循环生成图片过程中，可以增加可用的广告图片数量。为了进一步提高生产效率，利用 RFNet 反馈进行创新的一致条件正则化，对扩散模型进行微调（ RFFT ），显著增加生成图片的可用率，减少了循环生成中的尝试次数，并提供了高效的生产过程，而不牺牲视觉吸引力。论文还构建了一个可靠反馈 100 万（ RF1M ）数据集，包含超过一百万张由人类标注的生成广告图片，帮助训练 RFNet 准确评估生成图片的可用性，准确地反映人类的反馈。 来源：晓飞的算法工程笔记 公众号 论文:  Towards Reliable Advertising Image Generation Using Human Feedback 论文地址：https://arxiv.org/abs/2408.00418 论文代码：https://github.com/ZhenbangDu/Reliable_AD Introduction   一张引人注目的广告图片对电子商务的成功至关重要，因为它可以提高点击率（ CTR ………………………………