文本生成视频：从 Write-a-video到 Sora

2024年2月15日，OpenAI 推出了其最新的文本生成视频模型——Sora。Sora 能够根据用户的指令生成一分钟长度的高质量视频内容。这一创新的发布迅速在社会各界引发了广泛关注与深入讨论。本文将围绕本实验室发表于SIGGRAPH AISA 的 Write-a-video和 Sora 展开，讨论基于规则的视频生成方法和基于深度学习的视频生成方法。Part 1Write-a-video视频生成，在图形学里，和story-telling密切相关，我们一直有一个梦想，幼儿园的小朋友讲故事时，能否在大屏幕上实时生成故事的画面？这个问题在20年前，基于视频绘制(Video based Rendering)最热的时候，却是一个技术上不可能实现的难题。2009年，清华大学图形学实验室将这个问题简化为：能否用草图和文字描述一个场景，计算机去自动生成一张高度真实感的照片？这就是Sketch2Photo[1]。 图1 基于草图的真实感图像合成又过了10 ………………………………