面向单幅图像的逼真 3D 人脸重建方法

Pengfei Zhou, Yongtang Bao, Yue Qi

Abstract:

针对 3DMM 参数拟合方法生成的纹理过于粗糙、结果不够逼真的问题, 提出一种基于深度学习的单幅图像
逼真 3D 人脸重建方法. 首先构建 RP-Net 回归网络和包含 5 万幅人脸图像的数据集, 从输入图像中学习参数, 并拟合
人脸模型生成 3D 人脸几何; 然后通过构造多层次的损失函数进行弱监督学习, 包括低水平的像素损失、地标损失和
高水平的身份损失; 最后通过纹理映射的方式生成逼真的人脸纹理. 在 2 个通用人脸数据集和 1个人工生成的人脸数
据集上与最近的 3D 人脸重建方法进行对比实验, 并对影响重建的光照、表情和转向等因素进行实验, 根据 SSIM 和
PSNR 对 3D 重建结果进行量化分析. 实验结果表明, 所提方法面向单幅图像可以生成准确的 3D 人脸形状和逼真的
人脸纹理; 与最近的 3D 人脸重建方法相比, 该方法的训练时间和迭代次数分别降低了 6%和 13%, SSIM 值增加
0.005~0.010, PSNR 值平均提高 0.03~0.08 dB.