一、前言
PFLD全稱A Practical Facial Landmark Detector是一個(gè)精度高，速度快，模型小的人臉關(guān)鍵點(diǎn)檢測模型。在移動(dòng)端達(dá)到了超實(shí)時(shí)的性能（模型大小2.1Mb，在Qualcomm ARM 845 處理器上達(dá)到140fps），作者分別來自武漢大學(xué)，天津大學(xué)，騰訊AI Lab，美國天普大學(xué)，有較大的實(shí)用意義。
二、挑戰(zhàn)
人臉關(guān)鍵點(diǎn)檢測作為人臉相關(guān)應(yīng)用中的一個(gè)基礎(chǔ)任務(wù)面臨了很多挑戰(zhàn)，包括檢測精度，處理速度，模型大小這些因素都要考慮到，并且在現(xiàn)實(shí)場景中很難獲取到質(zhì)量非常高的人臉，所以人臉關(guān)鍵點(diǎn)檢測主要面臨下面幾個(gè)挑戰(zhàn)：
1，局部變化：現(xiàn)實(shí)場景中人臉的表情，廣告，以及遮擋情況都有較大的變化
2，全局變化：姿態(tài)和成像質(zhì)量是影響圖像中人臉的表征的兩個(gè)主要因素，人臉全局結(jié)構(gòu)的錯(cuò)誤估計(jì)將直接導(dǎo)致定位不準(zhǔn)
3，數(shù)據(jù)不平衡：不平衡的數(shù)據(jù)使得算法模型無法正確表示數(shù)據(jù)的特征
4，模型的性能：由于手機(jī)和嵌入式設(shè)備計(jì)算性能和內(nèi)存資源的限制，必須要求檢測模型的size小處理速度快
三、PFLD網(wǎng)絡(luò)結(jié)構(gòu)
我們知道一般的回歸損失是MSE或者Smooth L1 Loss，但它們都難以應(yīng)對(duì)數(shù)據(jù)不均衡的情況，以MSE Loss為例，損失函數(shù)可以寫成：小知識(shí)點(diǎn)：歐拉角
歐拉角也可以描述三維剛體旋轉(zhuǎn)，它將剛體繞過原點(diǎn)的軸(i,j,k)旋轉(zhuǎn)θ，分解成三步（藍(lán)色是起始坐標(biāo)系，而紅色的是旋轉(zhuǎn)之后的坐標(biāo)系。）。image.png
- 繞z軸旋轉(zhuǎn)α，使x軸與N軸重合，N軸是旋轉(zhuǎn)前后兩個(gè)坐標(biāo)系x-y平面的交線
- 繞x軸（也就是N軸）旋轉(zhuǎn)β，使z軸與旋轉(zhuǎn)后的z軸重合
- 繞z軸旋轉(zhuǎn)γ，使坐標(biāo)系與旋轉(zhuǎn)后的完全重合
按照旋轉(zhuǎn)軸的順序，該組歐拉角被稱為是“zxz順規(guī)”的。對(duì)于順規(guī)的次序，學(xué)術(shù)界沒有明確的約定。
歐拉角的旋轉(zhuǎn)矩陣為：Rz(α)?Rx(β)?Rz(γ)
其中M表示人臉樣本的數(shù)量，N表示每張人臉預(yù)設(shè)的需要檢測的特征點(diǎn)數(shù)目，||.||在本文表示L2距離，rn表示不同類型樣本的不同權(quán)重。
四、總結(jié)與感想
總的來說FPLD是一個(gè)idea非常好并且實(shí)用價(jià)值比較大的人臉關(guān)鍵點(diǎn)檢測算法，無論是人臉姿態(tài)估計(jì)子網(wǎng)絡(luò)的引入還是針對(duì)數(shù)據(jù)不平衡重新設(shè)計(jì)損失函數(shù)都是值得借鑒的。
在該篇論文當(dāng)中，提出新的損失函數(shù)，能夠有效緩解數(shù)據(jù)不均衡問題。另外，在網(wǎng)絡(luò)結(jié)構(gòu)方面，提出了用一個(gè)輔助網(wǎng)絡(luò)結(jié)構(gòu)去監(jiān)督和輔助關(guān)鍵點(diǎn)檢測。
在idea方面，對(duì)于輕量型網(wǎng)絡(luò)，除了Mobilenet Block外，還可以考慮運(yùn)用其它的網(wǎng)絡(luò)結(jié)構(gòu)（例如：Inexception）作為主干網(wǎng)絡(luò)。網(wǎng)絡(luò)構(gòu)造方面，可以就某一特征專門設(shè)計(jì)一個(gè)輔助網(wǎng)絡(luò)結(jié)構(gòu)提取。
