LiFT：利用人工反馈实现文本到视频模型对齐

主要观点总结

本文主要介绍了一种新的文本到视频模型对齐方法——LiFT。该方法利用人工反馈，通过三个关键步骤进行T2V模型对齐，包括人类反馈收集、奖励函数学习以及T2V模型对齐。文章还介绍了相关数据集LiFT-HRA、实验方法和结果等。

关键观点总结

关键观点1: LiFT方法介绍

本文提出了一种全新的视频生成人类偏好对齐方法——LiFT。该方法通过构建人类标注数据集LiFT-HRA，并在此基础上训练奖励模型LiFT-Critic，学习人类偏好奖励函数，最终对T2V模型进行优化对齐。

关键观点2: 人类反馈收集

LiFT方法的第一步是收集人类反馈，通过随机选择类别词生成短语并扩展为详细提示，再将文本提示输入T2V模型生成视频-文本对，最后通过人工标注构建出LiFT-HRA数据集。

关键观点3: 奖励函数学习与T2V模型对齐

基于LiFT-HRA数据集训练出LiFT-Critic奖励模型，学习反映人类偏好的奖励函数。然后使用LiFT-Critic对T2V模型生成的视频进行评估，将评分映射为奖励权重，引导T2V模型的奖励加权学习，实现模型对齐。

关键观点4: 实验结果

在CogVideoX-2B模型上应用LiFT方法后，其性能在16项指标上全面超越了更大规模的CogVideoX-5B，展示了人类反馈在提升视频生成质量中的巨大潜力。