來(lái)自2018年發(fā)表在計(jì)算機(jī)圖形學(xué)雜志TOP acm transactions on graphics上的論文《Appearance Modelling via Proxy-to-Image Alignment》（深圳大學(xué)）
3d重建的最重要的目的是讓模型更加真實(shí)。這個(gè)真實(shí)不僅僅來(lái)源于形狀，更來(lái)源于紋理。
從人臉來(lái)舉例，比如妝發(fā)可以在很大程度上給你不一樣的感覺。
比如下面這張圖。
可見紋理對(duì)面部的影響非常大。
目前對(duì)臉部重建的重點(diǎn)是主要放在幾何層面，比如3dmm關(guān)注的重點(diǎn)是對(duì)參數(shù)模型的重建，而缺乏對(duì)臉部紋理紋路的關(guān)注。
如果對(duì)紋理紋路深入挖掘的話，在3d層面上實(shí)現(xiàn)風(fēng)格遷移，也是很有研究?jī)r(jià)值的方向。比如：
這篇論文主要是從計(jì)算機(jī)圖形學(xué)的角度對(duì)模型進(jìn)行渲染，我覺得這個(gè)過程是可以用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)的。
摘要
事實(shí)上，由于現(xiàn)實(shí)世界的受到幾何及光度的影響，非常不可預(yù)測(cè)。賦予3d模型更具有現(xiàn)實(shí)性的外表，是一項(xiàng)耗時(shí)且艱難的任務(wù)。
（目前用3dmm重建的臉部模型都是失真的。）
比如在制作3d電影的時(shí)候，動(dòng)畫工程師都是從現(xiàn)實(shí)中的事物取樣，之后進(jìn)行數(shù)字創(chuàng)造。
這里，這篇論文提出問題：
即使對(duì)基于圖片的模型化已經(jīng)過去了十幾年，依然沒有工具可以自動(dòng)的提取事物的外表細(xì)節(jié)特征。
這篇論文提出了一種快速簡(jiǎn)單提取一個(gè)非參數(shù)化外表模型(Non parametric appearance model from a single photograph of a reference object ).
這個(gè)提取的過程是需要用戶提供一個(gè)面片模型的（proxy），這個(gè)模型大體上和圖片的事物相似。
因?yàn)檫@個(gè)模型只是大體相似，還需要對(duì)齊(align)和變形(deform)，以使它與參考事物更相似。
而且，一旦特征被提取，還可以用于其他不同事物上。
貢獻(xiàn)
- 提出一個(gè)對(duì)齊的方法來(lái)對(duì)齊一個(gè)粗糙的mesh模型。
- 在mesh模型的基礎(chǔ)上，同時(shí)提取光度，形狀，和反射。
- 提出一個(gè)兩步走的方法，將得到的2d圖片的外表特征應(yīng)用到3d物體上。
Overview
目的：生成一個(gè)新的工具，使用戶可以生成一個(gè)富于細(xì)節(jié)的 外表有真實(shí)感的 3d物體，這個(gè)外表來(lái)源于與此物品相似的圖片。
換言之，想學(xué)習(xí)一個(gè)Nonparametric appearance model 可以捕捉到外表與高層幾何特征之間的關(guān)系。
輸入：一張風(fēng)格2d圖片（a），和此圖片中物體對(duì)應(yīng)的粗糙3d模型（b）。
第一步：對(duì)齊。將粗糙3d模型（b）與圖片對(duì)齊，（c）。
第二步：為了使提取的風(fēng)格特征可以遷移到其他物體上，設(shè)計(jì)兩步形變過程。（d）medium-scale deformation 小程度形變；（e）fine-scale displacement 精致替代。
第三步：將3d模型與2d圖片里的物體進(jìn)行擬合（f）。使用加強(qiáng)版的Barron and Malik's algorithm對(duì)輸入圖片提取光照，漫反射率，和深度map。生成的深度map比起最開始粗糙3d模型可以提供更多細(xì)節(jié)。
思考
目前3dmm關(guān)注的重點(diǎn)是對(duì)參數(shù)模型的重建，而缺乏對(duì)臉部紋理紋路質(zhì)感的關(guān)注，以至于重建的3d人臉都是失真的。
如果對(duì)紋理紋路深入挖掘的話，在3d層面上實(shí)現(xiàn)風(fēng)格遷移或者使預(yù)測(cè)人臉老化，都是很有研究?jī)r(jià)值的方向。
以這篇論文為例，它的輸入一張風(fēng)格2d圖片（a），和此圖片中物體對(duì)應(yīng)的粗糙3d模型（b），這對(duì)于人臉3dmm模型來(lái)說，使非常容易得到的。
而且包括3ddfa模型，對(duì)齊這個(gè)問題在人臉上已經(jīng)比較容易解決了。
一些細(xì)節(jié)問題可以慢慢解決，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)說我覺得是可行的。
