亮點:主要是提出了通過同一人多張圖來生成更精細的人臉3D模型的方案,主要框架是基于3DMM的。
Lambertian surface-朗伯面:即入射光會向所有方向均勻反射,也即漫反射的期望狀態(tài)
spherical harmonic lighting-球諧光照:就是用來模擬光照的一個方案。類似于傅里葉變換,將一個復雜的函數(shù)分解為多個正交的基底函數(shù),通過計算他們的系數(shù)來獲得最終的結果。主要目的是為了快速模擬復雜的實時光照。
monochromatic lights-單色光:即單一頻率的光,無法發(fā)生色散。對應的是復色光,如太陽光。
模型框架:使用R-NET從圖片中提取人臉的參數(shù)(身份,表情,紋理,姿態(tài),光照),然后使用可微分的渲染重構回2D模型,最后直接計算像素損失。
Robust Photometric Loss:計算生成圖片和原始圖片下的像素損失。計算像素損失時使用了一個基于皮膚的mask,這個mask是使用專門訓練的皮膚檢測器來提取的,用于保證loss只計算有皮膚的部分。
Landmark Loss:計算深沉圖片和原始圖片之間landmark之間的損失,這里是用了別人提供的landmark檢測模型。
Perception Level Loss:發(fā)現(xiàn)只使用以上兩個基于圖片的loss會導致3D形狀偏差較大的問題。所以作者又專門訓練了一個FaceNet,用來提取圖片的深度信息,然后再在兩個圖像上算損失。
Regularization:約束了一下texture的variance
Weakly-supervised Neural Aggregation for Multi-Image Reconstruction:作者認為同一個人的多個照片應該擁有類似的3D形狀,因此他設計了一個方式來用多張2D圖片來約束同一個3D模型。即先設計一個confidence net,用于輸出每張圖片對于目標3D模型的置信度,然后對每個圖像由R-NET預測出的shape參數(shù)基于C-net給出的置信度做加權平均,進而得到最終的3D模型。