(D3DFR)Accurate 3D Face Reconstruction with Weakly-Supervised Learning From Single Image to Image...

亮點:主要是提出了通過同一人多張圖來生成更精細的人臉3D模型的方案,主要框架是基于3DMM的。

Lambertian surface-朗伯面:即入射光會向所有方向均勻反射,也即漫反射的期望狀態(tài)
spherical harmonic lighting-球諧光照:就是用來模擬光照的一個方案。類似于傅里葉變換,將一個復雜的函數(shù)分解為多個正交的基底函數(shù),通過計算他們的系數(shù)來獲得最終的結果。主要目的是為了快速模擬復雜的實時光照。
monochromatic lights-單色光:即單一頻率的光,無法發(fā)生色散。對應的是復色光,如太陽光。
模型框架:使用R-NET從圖片中提取人臉的參數(shù)(身份,表情,紋理,姿態(tài),光照),然后使用可微分的渲染重構回2D模型,最后直接計算像素損失。
Robust Photometric Loss:計算生成圖片和原始圖片下的像素損失。計算像素損失時使用了一個基于皮膚的mask,這個mask是使用專門訓練的皮膚檢測器來提取的,用于保證loss只計算有皮膚的部分。
Landmark Loss:計算深沉圖片和原始圖片之間landmark之間的損失,這里是用了別人提供的landmark檢測模型。
Perception Level Loss:發(fā)現(xiàn)只使用以上兩個基于圖片的loss會導致3D形狀偏差較大的問題。所以作者又專門訓練了一個FaceNet,用來提取圖片的深度信息,然后再在兩個圖像上算損失。
Regularization:約束了一下texture的variance
Weakly-supervised Neural Aggregation for Multi-Image Reconstruction:作者認為同一個人的多個照片應該擁有類似的3D形狀,因此他設計了一個方式來用多張2D圖片來約束同一個3D模型。即先設計一個confidence net,用于輸出每張圖片對于目標3D模型的置信度,然后對每個圖像由R-NET預測出的shape參數(shù)基于C-net給出的置信度做加權平均,進而得到最終的3D模型。

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容