看啥推荐读物
专栏名称: 机器学习社区
专注分享学术论文、机器学习、人工智能、Python
今天看啥  ›  专栏  ›  机器学习社区

高效复现类 Sora 视频生成方案开源!Open-Sora 最佳实践来啦!

机器学习社区  · 知乎专栏  ·  · 2024-03-19 22:35
来源魔搭社区欢迎关注 @机器学习社区 ,专注学术论文、大模型、人工智能、机器学习近期,HPC-AI Tech团队在GitHub上正式公开了Open-Sora项目(https://github.com/hpcaitech/Open-Sora),该项目致力于复现OpenAI的Sora模型核心技术,并已取得实质性进展。作为开源社区内的开创性工作,Open-Sora率先提供了全球首个类Sora视频生成方案。我们也迅速跟进并深入学习了这一研究成果,以期促进技术交流与应用落地。 喜欢本文记得收藏、关注、点赞。Open-Sora的工作主要分为如下几个部分 1、变分自编码器(VAE)为了降低计算成本,Open-Sora使用VAE名将视频从原始像素空间映射至潜在空间(latent space)。Sora的技术报告中,采用了时空VAE来减少时间维度,Open-Sora项目组通过研究和实践,发现目前尚无开源的高品质时空VAE(3D-VAE)模型。Google研究项目的MAGVIT所使用的4x4x4 VAE并未 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照