NeurIPS 2025 | Adobe与JHU提出OmniVCus：前馈式多主体视频定制，多模态控...

主要观点总结

OmniVCus是Adobe研究院等机构推出的新框架，解决了AI视频生成领域的一个棘手问题：如何在视频中让多个特定主体同时出镜并进行精细控制。OmniVCus的出现让前馈式的视频定制技术迈上了一个新台阶，实现了更复杂、更自由的视频创作。论文标题是OmniVCus: Feedforward Subject-driven Video Customization with Multimodal Control Conditions。该框架解决了数据稀缺和控制方式单一的问题，并引入了一套全新的数据生产线和一个强大的模型架构。

关键观点总结

关键观点1: 研究背景及动机

OmniVCus是为了攻克前馈式视频定制方法主要面临的两大难题：数据稀缺和控制单一。它引入了一套全新的数据生产线和一个强大的模型架构。

关键观点2: 数据工厂与模型创新

OmniVCus的核心贡献包括一个自动化的数据构建管线VideoCus-Factory和一个基于DiT架构的创新模型OmniVCus。VideoCus-Factory解决了多主体训练数据的缺失问题，OmniVCus则通过两个为视频定制量身打造的嵌入机制解决了多主体泛化和多模态控制的问题。

关键观点3: 实验与结果

OmniVCus在单主体定制、多主体定制以及指令编辑等任务上均显著超越了现有水平。其生成的视频不仅主体身份保持得更好，动态也更自然。

关键观点4: 开源实践指引

OmniVCus的代码与数据已经开源，包括训练代码、测试代码和模型权重。但训练所需的算力较高，需要64张A100 GPU。

关键观点5: 重要启示

OmniVCus的工作带来几点重要启示：数据工程的胜利、为特性设计架构的重要性以及算力依然是护城河。