快手的可灵距离OpenAI的Sora有多远？

文章预览

点蓝色字关注 “机器学习算法工程师 ” 设为 星标 ，干货直达！ 距离OpenAI的Sora发布还不到半年，国内的快手终于第一个放出了自研的对标Sora的文生视频模型可灵。虽然在OpenAI的Sora之后，国内陆陆续续有一些视频生成模型发布，但是我个人觉得都距离Sora的效果还远。相比之下，快手可灵给出的视频demo更让人觉得接近Sora，而且相比一些期货模型，可灵发布后就开启内测，从目前大部分人的实测效果来看，整体表现较好。我自己也刚刚拿到了可灵的内测资格，所以这个文章我从技术上以及实测效果上来对比一下可灵和Sora。 首先从技术上来看，可灵和Sora采用的架构设计 ：首先采用一个autoencoder（可灵采用3D VAE，即在时序上也进行了降维）将视频压缩成3D时空tokens。 然后基于Diffusion Transformer 架构来生成视频的tokens： Sora已经证明了transformer在用于视 ………………………………