ECCV 2024 | UniTalker：商汤科技重磅发表的多样化音频驱动3D面部动画生成统一模型

主要观点总结

UniTalker是一个先进的3D面部动画系统，能将各种音频输入映射到逼真的3D面部动作上。它通过统一的多头部模型架构实现，支持多头部设计，能够利用具有不同注释的数据集进行训练。文章详细介绍了UniTalker的技术思路和处理过程，包括多头部架构设计、主成分分析、模型预热和关键身份嵌入、频率适配器、非自回归运动解码器等技术策略，以及数据集的扩展与多样性。

关键观点总结

关键观点1: UniTalker是一个创新的3D面部动画系统

它能够将各种类型的音频输入映射到逼真的3D面部动作上，为3D面部动画技术提供了新的可能性。

关键观点2: UniTalker通过一个统一的多头部模型架构实现

该架构支持多头部设计，能够利用具有不同注释的数据集进行训练，从而提高了模型的适应性和效率。

关键观点3: UniTalker采用了多种技术策略

包括主成分分析、模型预热和关键身份嵌入、频率适配器、非自回归运动解码器等，这些策略有助于提高训练的稳定性和输出的一致性。

关键观点4: UniTalker具有多语言和多声学类型的能力

在面部动画生成方面表现出色，无论是在表情的丰富性还是口型同步的准确性上。

关键观点5: UniTalker能够作为一个基础模型进行微调

通过在已知数据集上的微调来进一步提升性能，甚至在只有一半数据的未知数据集上也能超越之前训练在完整数据集上的最先进模型。