圖片.png

多分類器

Margin-Loss, Intra-Loss, Inter-Loss 輸入樣本一個，后接softmax多分類，最后的全卷積層權(quán)重Wj對應(yīng)超球空間中一個類別的centre。

• intra-loss是當(dāng)前樣本embedding feature 向量跟類別centre 之間夾角的batchsize求均值。
• inter-loss是當(dāng)前樣本 對應(yīng)的類別centre, 與所有其他類別centre and ,是類別的個數(shù)。
• margin-loss是當(dāng)前樣本embedding feature 與自身類別, 及與其他類別之間的角度均值。

基于Matching（distance）

• Triplet-loss輸入樣本對（共3個樣本，其中2個屬于同一類），不進(jìn)行多分類，沒有softmax-loss，僅僅對輸入的3個embedding feature vectors根據(jù)距離函數(shù)計算距離，loss使得該輸入樣本的類內(nèi)距離比類間距具有margin間隔。

Intra-loss

Inter-loss

Triplet-loss

arcface

margin

The learned embedding features

• 學(xué)習(xí)類間間隔，使得類間更加分離；
• 學(xué)習(xí)feature embedding（弧度/角度空間懲罰），使得類內(nèi)更加匯聚。

不同loss得到的類內(nèi)類間統(tǒng)計指標(biāo)

• 略去arccos+angular margin懲罰的NS，所學(xué)習(xí)到的embedding feature的統(tǒng)計中心和類別中心并不重合，說明類內(nèi)特征比較發(fā)散。
• 類內(nèi)loss減小類內(nèi)角度的同時也減小了類間，效果不好
• 類間loss增大類間的同時也增大了類內(nèi)，效果不好（loss直接更新，間接影響embedding feature 的生成）
• Triplet loss同時考慮了類內(nèi)和類間，物理意義很好但是訓(xùn)練之后并沒有學(xué)到相應(yīng)的效果， learning process

arcface vs triplet-loss

出發(fā)點都很好，但是從結(jié)果來看arcface的類內(nèi)類間angular margin 更加的明顯。

arcface 的loss僅僅是顯示的對類內(nèi)角度進(jìn)行了懲罰，如果結(jié)合類間的inter-loss效果會不會更好？
作者實驗結(jié)果是差別不大，甚至有波動會變差，可能因為一個loss項在不同階段會影響另一個loss項的權(quán)重發(fā)揮。

不同loss組合比較

不同的數(shù)據(jù)庫有不同的難度，姿態(tài)、光照、年齡、規(guī)模等等。In the following figure, we illustrate the angle distributions (predicted by ArcFace model trained on MS1MV2 with ResNet100) of both positive and negative pairs on LFW, CFP-FP, AgeDB-30, YTF, CPLFW and CALFW.
We can clearly find that the intra-variance due to pose and age gaps significantly increases the angles between positive pairs thus making the best threshold for face verification increasing and generating more confusion regions on the histogram.

測試算法在不同數(shù)據(jù)庫上的效果變化，