一 DeepFace(CVPR2014)

《DeepFace: Closing the Gap to Human-Level Performance in Face Verification》

二 DeepID1(CVPR2014)

《Deep Learning Face Representation from Predicting 10,000 Classes》

增加深度模型分類類別數(shù)目能有效提升模型性能。
用于人臉識(shí)別的特征必須是分類之間的DeepID，不能用softmax layer的輸出。
訓(xùn)練數(shù)據(jù)越多，采用的patches越多，模型性能越好。
由于提出的網(wǎng)絡(luò)結(jié)構(gòu)最后一個(gè)卷積層非常?。?*2的feature map），所以最終全聯(lián)接層（DeepID）同時(shí)連接到最后一個(gè)卷積層和它前面的卷積層。

《Deep Learning Face Representation by Joint Identification-Verification》

face identification任務(wù)拉開類間的距離，face verification任務(wù)減小類內(nèi)距離。
當(dāng)face identification任務(wù)權(quán)重為1， face verification任務(wù)權(quán)重為0.05時(shí)效果最好。

《Deeply learned face representations are sparse, selective, and robust》

《DeepID3: Face Recognition with Very Deep Neural Networks》

《FaceNet: A Unified Embedding for Face Recognition and Clustering》

提出triplet loss：（alpha是margin，文中設(shè)為0.2）
$L = \sum_{i}^{N}[\parallel f(x_i^a)-f(x_i^p) \parallel _2^2 -\parallel f(x_i^a)-f(x_i^n) \parallel_2^2+\alpha]_+$
選擇所有triplets進(jìn)行訓(xùn)練收斂太慢，所以應(yīng)該選擇hard triplets。在線生成triplets的時(shí)候（在一個(gè)mini-batch中），為了得到更好的正樣本對(duì)，需要保證每個(gè)mini-batch中，每個(gè)id均包含一定數(shù)量（比如40）的圖片。選擇正樣本對(duì)的時(shí)候采用全配對(duì)的方式（負(fù)樣本還是選擇hard negtives），而不是只選擇hard positive pairs，雖然沒對(duì)兩種選擇方式進(jìn)行比較，但是實(shí)踐中發(fā)現(xiàn)全配對(duì)更穩(wěn)定，在開始訓(xùn)練的時(shí)候收斂稍快。如果選擇hardest negatives會(huì)導(dǎo)致在訓(xùn)練初期就陷入局部極小值，為了避免該問題，可以選擇與anchor距離大于“正例與anchor距離”的hard negatives（semi-hard），而不是hardest negatives。

《A Discriminative Feature Learning Approach for Deep Face Recognition》

以softmax loss學(xué)到的特征是可分的，但是依然有顯著的類內(nèi)變化，所以不夠具有辨別力。
center loss:
$L_C = \frac{1}{2}\sum_{i=1}^{m}\parallel x_i-c_{yi} \parallel _2^2$
如何更新center：基于mini-batch在每一個(gè)iteration中計(jì)算某類別對(duì)應(yīng)所有特征的均值作為該類中心。同時(shí)為了避免噪聲數(shù)據(jù)，使用一個(gè)標(biāo)量控制類中心的學(xué)習(xí)率。
試驗(yàn)參數(shù)：center loss權(quán)重=0.003，控制類中心學(xué)習(xí)率的標(biāo)量=0.5。