這篇文章解決的是從2D圖片直接恢復(fù)3D人臉的一個問題。這篇文章沒有用3DMM,用的是體素。所謂體素就是三維的像素。
文章中提出的模型VRN由Hourglass Module(漏斗形的CNN結(jié)構(gòu),漏斗兩端都有對應(yīng)的殘差連接)堆疊而成。
如下圖所示,嘗試了三個模型:
1.直接通過2D圖片恢復(fù)3D人臉
2.先恢landmark,再將landmark與2D圖像合并后預(yù)測3D人臉
3.多任務(wù)聯(lián)合優(yōu)化,也即一邊預(yù)測landmark一邊預(yù)測3D人臉
最后發(fā)現(xiàn)第二種效果最好。

overview