港大字节最新视频生成模型刷屏！网友直接RIP市场营销，Sora也不香了

主要观点总结

港大与字节跳动联合发布了最新视频生成模型Goku（悟空），该模型能够生成图像和视频内容，包括文生视频、图生视频和文生图。新模型名为 Goku+，支持视频广告的生成。Goku系列模型在定性和定量评估中取得了优异的结果，引发了网友的广泛关注。该模型基于流的视频生成基础模型，采用了校正流Transformer实现图像和视频的联合生成。此外，研究团队还构建了大规模高质量数据集并采用了高效的训练基础设施来训练模型。目前，官方已经发布了技术报告，但模型暂时还无法试用。

关键观点总结

关键观点1: Goku模型的发布及功能特点

港大与字节跳动联合发布最新视频生成模型Goku，支持文生视频、图生视频和文生图等功能，可应用于广告、市场营销等领域。

关键观点2: Goku系列模型的性能表现

Goku系列模型在定性和定量评估中取得了优异的结果，其中Goku在GenEval得分0.76和DPG-Bench得分83.65，文本到视频生成VBench得分84.85，达到了新的SOTA水平。

关键观点3: Goku模型的技术原理

Goku模型基于流的视频生成基础模型，采用校正流Transformer实现图像和视频的联合生成。其技术原理包括图像-视频联合VAE、Transformer架构和校正流公式等。

关键观点4: 大规模数据集和高效训练基础设施的重要性

为了训练Goku模型，研究团队构建了大规模高质量数据集，并采用了高效的训练基础设施，包括并行策略、细粒度激活检查点技术等。

关键观点5: 模型的期待与未来

尽管官方已经发布了技术报告，但Goku模型目前还无法试用，引发了网友的期待和关注。目前正在进行评选报名，评选结果将于4月中国AIGC产业峰会上公布。

免责声明