从「对口型」到「会表演」，刚进化的可灵AI数字人，技术公开了

主要观点总结

快手可灵团队发布了一项全新的数字人功能，该功能能够让数字人的口型随着声音变化，并能在长视频中保持动作自然、镜头流畅。该功能通过多模态大语言模型赋能的两阶段生成框架实现，能够生成高质量的数字人表演视频。

关键观点总结

关键观点1: 数字人功能特点

数字人不仅能对口型，还能根据音频内容自然扬起嘴角、眼神含笑，随着鼓点起伏肩膀与手臂有节奏地带动气氛，表演动作自然流畅。

关键观点2: 技术实现

采用多模态大语言模型赋能的两阶段生成框架，通过多模态理解让指令变成可执行的故事线，实现数字人的生动表达。设计了一套基于用户偏好的GSB测评体系，用于评估数字人像视频生成方法在多模态指令跟随方面的能力。

关键观点3: 训练和推理策略

团队通过收集高质量训练数据、设计专家模型筛选数据、构建测评基准等方法，保证了视频生成过程中音频与口型的对齐和身份一致性。

关键观点4: 实验结果

在构建的测评基准上，Kling-Avatar在绝大多数维度上取得领先，全面超过OmniHuman-1，并在绝大部分指标上超过HeyGen。生成的数字人口型与音频高度一致，面部表情自然，能够准确还原相应的口型状态。

关键观点5: 应用前景

Kling-Avatar现已集成到可灵平台，欢迎体验。未来，团队将持续推进高分辨率、精细动作控制、复杂多轮指令理解等方向的前沿探索，致力于让数字人的每一次表达都拥有真实而动人的灵魂。