首个4D视频生成扩散模型！数分钟实现4D内容生成，超81K优质数据集已开源

文章预览

本文介绍由多伦多大学，北京交通大学，德克萨斯大学奥斯汀分校和剑桥大学团队最新提出的 4D 生成扩散模型，该方法可以在几分钟之内可以完成时空一致的 4D 内容生成。Diffusion4D 整理筛选了约 81K 个 4D assets，利用 8 卡 GPU 共 16 线程，花费超过 30 天渲染得到了约四百万张图片，包括静态 3D 物体环拍、动态 3D 物体环拍以及动态 3D 物体前景视频。 该方法是首个利用大规模数据集，训练视频生成模型生成 4D 内容的框架，目前项目已经开源所有渲染的 4D 数据集以及渲染脚本。 项目地址： https://vita-group.github.io/Diffusion4D/ 论文地址： https://arxiv.org/abs/2405.16645 研究背景 过去的方法采用了 2D、3D 预训练模型在 4D（动态 3D）内容生成上取得了一定的突破，但他们主要依赖于分数蒸馏采样（SDS）或者生成的伪标签进行优化，同时利用多个预训练模型获得监督不 ………………………………