从过拟合到通用！ViMoGen开启3D人体动作生成新纪元

主要观点总结

文章介绍了随着AIGC的爆发，视频生成模型能够理解复杂的指令，但3D人体动作生成（3D MoGen）领域还存在泛化能力的问题。针对这一问题，研究团队提出了题为《The Quest for Generalizable Motion Generation: Data, Model, and Evaluation》的最新研究成果。文章从数据、模型、评估三个维度重新定义了通向通用动作生成的路径，并介绍了相关的数据集ViMoGen-228K、模型ViMoGen和评估基准MBench的特点和作用。

关键观点总结

关键观点1: 3D MoGen领域的泛化能力问题

现有的模型在标准数据集上表现良好，但在处理复杂交互或罕见动作时，生成的动作往往会缺乏自然性、崩坏或退化为简单的平均姿态，限制了其在现实场景和交互系统中的应用。

关键观点2: 数据的重要性

数据是动作生成的关键，研究团队通过结合高精度数据、互联网视频和由视频模型合成视频中提取的动作数据，创建了ViMoGen-228K数据集，包含了大量罕见、复杂的交互动作，突破了传统数据棚采集的物理限制。

关键观点3: 模型的创新

研究团队提出了ViMoGen模型，采用Text-to-Motion (T2M) 与 Motion-to-Motion (M2M) 双分支架构，通过门控机制，将视频生成模型的语义先验与MoCap的物理先验完美统一。该模型在传统动作生成测评上取得较好分数，同时在泛化性上表现出卓越表现。

关键观点4: 评估基准的提升

传统的评估方式无法体现模型在处理复杂、罕见指令时的真实泛化能力，研究团队提出了MBench测评基准，从动作质量、文本忠实度、泛化能力三大维度对模型进行全方面测评，是目前最全面的动作生成评测方式。

关键观点5: 研究团队的合作与成果

文章由南洋理工大学、商汤科技、清华大学、香港中文大学及英伟达的顶尖学者合作完成。文章的研究成果为3D人体动作生成领域带来了新的突破，为现实场景和交互系统中的应用提供了更广阔的可能性。