CVPR24新作：教你网络“影分身术”，半小时生成专属数字人的GaussianAvatar

主要观点总结

本文介绍了一种基于可驱动3DGS的人体数字化身建模方法，该方法通过结合SMPL/SMPL-X模型实现高效建模和实时驱动。主要技术包括可驱动3DGS、动态高斯参数预测、动作联合优化和训练策略等。

关键观点总结

关键观点1: 背景简介

数字化身建模是热门计算机视觉和图形学任务，基于单目视频的人体数字化身建模只是其中的一个小任务。神经辐射场（NeRF）具有高真实感的渲染质量，但存在渲染和建模速度慢的问题。3D高斯泼溅（3DGS）在建模和渲染速度上比NeRF要好，但如何应用到人体数字化身建模任务上具有挑战。

关键观点2: 方法详析

本文提出一种基于可驱动3DGS的人体数字化身建模方法，通过结合SMPL/SMPL-X模型，实现高效建模和实时驱动。主要技术包括可驱动3DGS、动态高斯参数预测、动作联合优化和训练策略等。其中，可驱动3DGS是将3DGS和人体模型SMPL/SMPL-X结合，通过线性混合蒙皮公式完成驱动；动态高斯参数预测是通过神经网络预测高斯参数；动作联合优化是对人体姿态进行矫正；训练策略包括两个阶段，第一阶段训练可优化特征向量和高斯参数解码器，第二阶段加入姿态编码器的训练。

关键观点3: 实验与结果

本文在多个数据集上进行实验，包括People-Snapshot、NeuMan和自己采集的DynVideo数据集。通过与基于NeRF的方法HumanRF和InstantAvatar进行对比，本文方法在定量和定性实验对比中均取得了较好的结果。

关键观点4: 总结与未来工作

本文通过结合SMPL/SMPL-X模型提出了可驱动3DGS，实现了高效建模和实时驱动。但仍存在一些问题，例如建模速度、复杂衣物的建模等。未来工作将致力于解决这些问题。