Sora之后，苹果发布视频生成大模型STIV，87亿参数一统T2V、TI2V任务

主要观点总结

文章介绍了机器之心AIxiv专栏过去数年接收报道的2000多篇内容，覆盖了全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。文章还详细描述了Apple MM1Team发布的新作——一个支持多模态条件、具有8.7B参数的视频生成模型，涉及模型架构、训练、数据等方面。该模型能处理T2V和TI2V任务，提升视频生成质量，为视频生成模型在未来多种应用场景中的推广奠定基础。文章还涉及模型的具体贡献、亮点、架构、训练策略、实验结果及应用场景等。

关键观点总结

关键观点1: 机器之心AIxiv专栏的概述和影响力

该专栏过去数年接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进学术交流与传播。

关键观点2: Apple的新作——一个支持多模态条件的视频生成模型

该模型是一个具有8.7B参数的视频生成模型，能处理T2V和TI2V任务，通过加入初始图像帧作为参考，提供了更具约束性的生成基础。

关键观点3: 模型的贡献与亮点

模型提升了视频生成质量，为视频生成模型在未来多种应用场景中的推广奠定基础。其贡献包括提出STIV模型，实现T2V和TI2V任务的统一处理，以及系统性研究包括T2I、T2V和TI2V模型的架构设计、高效稳定的训练技术等。

关键观点4: 模型的架构和训练策略

模型基于PixArt-Alpha架构，通过冻结的变分自编码器（VAE）将输入帧转换为时空潜变量，并使用可学习的DiT块进行处理。研究还对架构进行了优化，包括时空注意力分解、条件嵌入、旋转位置编码（RoPE）等。训练策略包括稳定训练策略、高效训练改进、融合图像条件的方法等。

关键观点5: 模型的应用场景

模型的应用场景包括视频预测、帧插值和长视频生成等。通过随机选择适当的条件策略，可以训练出一个能够执行所有任务的统一模型。