在线教程丨与 Sora 技术路线相似！全球首个开源文生视频 DiT 模型 Latte 一键部署

文章预览

本文 约1700字 ，建议阅读 5分钟 本文教你如何一键部署”开源 Sora“。 上海人工智能实验室开源了全球首个文生视频 DiT—— Latte，作为一款与 Sora 技术相似的自研模型，Latte 可以自由部署，应用于影视动画制作、游戏开发和广告设计等领域，对于想要探索文生视频技术的小伙伴来说，开源的 Latte 无疑为大家提供了可供实践的机会。 自 OpenAI 推出 Sora 以来，「文生视频」概念及相关应用备受瞩目。而伴随 Sora 的大热， 其背后的关键技术，DiT (Diffusion Transformers) 也被「考古挖掘」了出来。 事实上，DiT 是一个文生图模型，该模型于两年前开源，其研发人员分别是 Peebles 和谢赛宁，其中 Peebles 也是 Sora 的项目领导者之一。 在 DiT 模型提出之前，Transformer 以其强大的特征提取和上下文理解能力，几乎在自然语言处理领域独霸一方。而 U-Net 则以其独特架构 ………………………………