前文中，對(duì)3DMM方法進(jìn)行了初步介紹，本章將針對(duì)如下幾個(gè)方面對(duì)其進(jìn)行詳細(xì)闡述：

1.3DMM方法介紹

2.BFM數(shù)據(jù)庫(kù)介紹

3DMM是一種較為基礎(chǔ)的三維人臉統(tǒng)計(jì)模型，最早被提出是用于解決從二維人臉圖像恢復(fù)三維形狀的問題。在3DMM方法發(fā)展的二十年來，各位學(xué)者對(duì)其進(jìn)行了數(shù)據(jù)擴(kuò)展和深入研究，又由于神經(jīng)網(wǎng)絡(luò)廣泛使用，使得3DMM參數(shù)優(yōu)化得到簡(jiǎn)化，基于3DMM方法的三維重建文章層出不窮。但此類方法基于一組人臉形狀和紋理的統(tǒng)計(jì)模型來表示任意一張人臉，仍然存在重建人臉判別性較差，參數(shù)求解難的問題，目前也是學(xué)術(shù)界研究的重點(diǎn)方向。

1.3DMM方法介紹

這一部分主要介紹傳統(tǒng)3DMM方法

前提所有三維人臉是已經(jīng)進(jìn)行稠密對(duì)齊(3D face registration)的，即所有的三維人臉都能用相同的點(diǎn)云數(shù)或面片數(shù)來表示，且相同序號(hào)的點(diǎn)代表相同的語義，例如對(duì)每一個(gè)人臉形狀基第2217個(gè)面片頂點(diǎn)都是左外眼角點(diǎn)（BFM2017數(shù)據(jù)庫(kù)）。在稠密對(duì)齊的情況下，文章提出每個(gè)帶紋理的三維人臉都能用如下公式表示：

，? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2.1）

，? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2.2）? ? ? ? ? ?

其中和表示人臉平均形狀和平均紋理部分，每張人臉的判別特性體現(xiàn)在加號(hào)右邊一組基的線性組合，和分別表示按照特征值降序排列的協(xié)方差陣的特征向量。這也是3DMM的關(guān)鍵。在文章中，作者采集了200個(gè)三維人臉的頭部，用這組數(shù)據(jù)作為PCA（主成分分析）的基礎(chǔ)，來獲得能代表人臉形狀和紋理信息的主成分即和。

求解過程，實(shí)際就是對(duì)參數(shù)和的求解。在文中作者告訴我們這兩組系數(shù)的分布滿足

，其中是形狀協(xié)方差陣的特征值。滿足多元正態(tài)分布。同理。

接下來是如何用這組統(tǒng)計(jì)模型與一張或多張二維圖片進(jìn)行匹配，獲得圖片上人臉的三維形狀和紋理。在99年的論文中，作者采用一種分析合成方法（analysis-by-synthesis），主要思想在于，將3D模型和一組渲染參數(shù)一起優(yōu)化，使他們產(chǎn)生的圖片盡可能的接近輸入圖片。首先算法先根據(jù)現(xiàn)有參數(shù)產(chǎn)生一個(gè)帶紋理的3D人臉，渲染出一張2D圖片，根據(jù)原圖片與渲染圖片的殘差更新參數(shù)。

模型參數(shù)：

和是確定人臉形狀和紋理的系數(shù)，渲染參數(shù)包含相機(jī)位置（方向角，仰角），目標(biāo)尺度，圖像平面旋轉(zhuǎn)和平移，環(huán)境光強(qiáng)度，直射光強(qiáng)度。其余參數(shù)，如相機(jī)距離，光照方向和表面反照率保持估計(jì)值不變。

使用透視投影和Phong光照模型，從參數(shù)渲染彩色圖片，此時(shí)重建圖片在歐氏距離上應(yīng)該盡可能與輸入圖片接近，有如下公式

? ? ? ? ? ? ? ? ? ? ? ? ? (2.3)

同時(shí)由于從2D圖片重建三維是一個(gè)病態(tài)問題，為了避免出現(xiàn)不像人臉的重建結(jié)果，對(duì)參數(shù)設(shè)置了一定的約束，因此重建方法是質(zhì)量和先驗(yàn)概率的折中。

根據(jù)貝葉斯決策，問題變成找到擁有最大后驗(yàn)概率的參數(shù)集合?？紤]輸入圖片可能帶有噪聲，我們進(jìn)一步假設(shè)觀測(cè)圖片滿足如下概率，

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (2.4)

其中代表高斯噪聲的標(biāo)準(zhǔn)差，于是最大后驗(yàn)概率可以通過最小化代價(jià)函數(shù)獲得

? ? ? ? (2.5)

在求解形狀參數(shù)時(shí)采用隨機(jī)梯度下降算法，隨機(jī)選擇一組面片（文中40張一組，在此過程中隨機(jī)采樣的面片若被遮擋，其權(quán)值設(shè)為0）對(duì)任意的求一階偏導(dǎo)則，參數(shù)更新為原參數(shù)減去學(xué)習(xí)率與梯度的乘積。文中對(duì)每個(gè)面片的紋理和3D位置的處理是直接由面片的三個(gè)角點(diǎn)的平均值得到的。

在后續(xù)的研究中，很多工作都致力于優(yōu)化求解方法，例如加入contour、silhouette和特征點(diǎn)信息作為約束，或利用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行求解，使得參數(shù)求解速度更快。

2.BFM數(shù)據(jù)庫(kù)

BFM數(shù)據(jù)庫(kù)的提出有效擴(kuò)大了3DMM的適用場(chǎng)景，BFM可以擬合任意三維人臉并保存3DMM參數(shù)。有兩個(gè)版本09版和17版，在這里只對(duì)17版（17版論文）進(jìn)行說明。相比于09版，針對(duì)表情基進(jìn)行了優(yōu)化。

BFM提供了一組形狀，表情，紋理的基，且可以根據(jù)改變參數(shù)來改變?nèi)四樀哪挲g肥胖程度，其中形狀基為一個(gè)199*n維的主成分，以及199*1維的主成分均方誤差。紋理的基和形狀基維度相同，表情基有100*n維主成分和100*1維均方誤差相較09版的20維有所增加。