CVPR 2024 | 面部+肢体动画，一个框架搞定从音频生成数字人表情与动作

来源：机器之心本文约2100字，建议阅读6分钟本文带你了解EMAGE，一个从音频和动作的掩码中生成人体全身动作的框架。‍AI 数字人面部与肢体的驱动算法作为数字人研发的重要环节，可以大幅度降低 VR Chat、虚拟直播和游戏 NPC 等领域中的驱动成本。近年来，基于语音生成面部、肢体和手部的动作的各类独立基线模型已经逐渐成熟。然而，直接将不同模型的动画结果混合会导致最终全身整体的动画不协调。研究者逐渐考虑使用统一的框架来同时生成面部表情和肢体动作。然而，尽管研究社区在面部的表情和肢体的动作上分别存在统一的数据标准，已有的基线模型仅在独立的数据格式上进行训练和评估，比如 FLAME (面部) 和 AMASS (肢体)。社区仍然缺少面向全身的，格式统一的训练数据和基线模型。针对此问题，东京大学，清华大学，德国马普所的研究 ………………………………