最近在看person re-identification相關(guān)的paper，之后應(yīng)該會(huì)有一系列以eccv 2016 person re-identification為主題相關(guān)的筆記。

這是第一篇。

主要思想之一（HVIL）

假設(shè)有一組probe set，有一組gallery set，HVIL（human verification incremental learning) 的主要做法就是，每給出一張probe，用模型對(duì)gallery set里的圖片進(jìn)行rank，然后把rank list給user看，user從中找出true match（就是和probe屬于同一個(gè)人的照片）并且給出以下三個(gè)值中的一個(gè){true match, similar, dissimilar} ,true match 代表模型給出的top rank 和 probe是匹配的（屬于同一個(gè)人），similar 代表模型給出的top rank 和probe有點(diǎn)像，dissimilar代表一點(diǎn)也不像。user給出這兩個(gè)反饋信息后，model就進(jìn)行參數(shù)更新，并online地再次給出rank list，user再給出上述的兩個(gè)反饋信息。如此往復(fù)，直到user給出的第二個(gè)信息是true match 或者 循環(huán)的次數(shù)達(dá)到了預(yù)先設(shè)定的次數(shù)（這篇論文中設(shè)定3次）。對(duì)每個(gè)probe都進(jìn)行這樣的操作。這樣訓(xùn)練完以后再進(jìn)行testing。

這樣做有這樣幾個(gè)好處：

• 傳統(tǒng)的人工標(biāo)注，需要user在看到一個(gè)probe后在所有g(shù)allery中尋找匹配的identity，gallery分布比較隨機(jī)，你說(shuō)不定翻遍整個(gè)gallery set才找到true match。這個(gè)方法的話(huà)，隨著模型的迭代修正，會(huì)把gallery set 按照rank score排列，這樣越到后面，就越可能在很靠前的位置找到true match，減輕勞動(dòng)力。
• 除了像傳統(tǒng)標(biāo)注方法給出true match以外，還給出{true match, similar, dissimilar}三個(gè)值中的一個(gè)，有利于模型的自我修正。
• 現(xiàn)在reID存在的一個(gè)問(wèn)題就是，訓(xùn)練數(shù)據(jù)少，但是待測(cè)試的數(shù)據(jù)太多，在實(shí)際場(chǎng)景是更是如此，你想一個(gè)24小時(shí)工作的攝像頭一天能產(chǎn)生多少數(shù)據(jù)。。。所以傳統(tǒng)的方法，即在訓(xùn)練數(shù)據(jù)上訓(xùn)練，再把訓(xùn)練好的模型做testing，是unscalable的，但是這個(gè)方法，不需要傳統(tǒng)的預(yù)標(biāo)注的數(shù)據(jù)，如果testing數(shù)據(jù)變多了，那么再在原來(lái)的基礎(chǔ)上user再繼續(xù)訓(xùn)練模型就好了。

具體做法

計(jì)算error

前面已經(jīng)說(shuō)了，user給出兩個(gè)反饋信息，一個(gè)是true match ，另一個(gè)是{true match, similar, dissimilar}三個(gè)值中的一個(gè)，然后就要算模型的error了，

1式中，下面這一項(xiàng)代表模型給出的rank scores，其中x^p是給定的probe的特征（可以是color LBP等），x^g是gallery set 中的對(duì)給定probe的true match的特征。

2式中，I(·)是指示函數(shù)，意思就是·如果成立，那函數(shù)值為1，·如果不成立，那函數(shù)值為0。1式等號(hào)右邊的意思就是把所有rank score高于true match的score的數(shù)量統(tǒng)計(jì)出來(lái)（理想狀況下，這些gallery的分?jǐn)?shù)不應(yīng)該高于true match）（注：后來(lái)想到，最后對(duì)結(jié)果進(jìn)行評(píng)價(jià)的時(shí)候，有個(gè)前5hit 前10hit 前20hit之類(lèi)的，所以這里應(yīng)該是，如果正確答案在分?jǐn)?shù)top5 top10 top20的list內(nèi)，就算true match）

3式中，y就是{true match, similar, dissimilar}三個(gè)值中的一個(gè)，如果y是true match或者 similar，loss function就是上面那個(gè)式子，如果y是dissimilar，那就用下面那個(gè)式子。此外，如果y是true match， 那么αi取1/i（比較陡峭），如果y是similar或者dissimilar，那么αi取1/(ng - 1)（比較平緩），這樣做可以讓true match在rank list 中迅速上升，讓negatives緩慢下降。雖然我不懂為啥要這樣干，但是作者說(shuō)這樣做的實(shí)際表現(xiàn)很好，姑且就信了吧。

更新模型參數(shù)

根據(jù)user的反饋得到error 后，就要實(shí)時(shí)更新模型參數(shù)了

f(·)是負(fù)的Mahalanobis distance metric，這個(gè)函數(shù)值越大，表示probe和gallery越接近。越小表示越遠(yuǎn)，所以其實(shí)就是我上面說(shuō)的rank score。

5式是object function，其中ΔF是Bregman divergence measure，你也可以看做是一種距離的度量。你可以把5式理解為，當(dāng)很多次循環(huán)后，如果M和Mt-1已經(jīng)近似相同了（收斂），那么訓(xùn)練目標(biāo)也就達(dá)到了。其實(shí)5式后面那個(gè)我也不是很理解，這里把原文摘錄如下，有誰(shuí)理解的可以交流一下：

（注：我已經(jīng)搞懂上面的意思了，我上面說(shuō)的那段話(huà)有錯(cuò)誤，5式才是我們的目標(biāo)函數(shù)，5式的目的是為了平穩(wěn)的更新M，5式左側(cè)的三角形式子是Bregman divergence measure，你也可以看做是一種距離的度量，右式是loss，左側(cè)式子的意思是為了讓M的更新速度小一點(diǎn)，右式的意思是要讓loss向著變小的方向移動(dòng)，兩者相互調(diào)節(jié)）

但是按照3式中的loss function，這個(gè)Mt是離散的，所以不可微，作者做了一些處理，使它變得可微（用一個(gè)連續(xù)的上界來(lái)估計(jì)loss），如6式：

其中：

上面那部分我沒(méi)有細(xì)讀，所以直接摘錄了。
后面作者為了加速整個(gè)參數(shù)更新，又對(duì)6式做了處理，這里不摘錄了。

整個(gè)流程總結(jié)如下

主要思想之二 （RMEL）

上面的訓(xùn)練過(guò)程中產(chǎn)生了一系列副產(chǎn)品，就是每次得到的模型Mt（隨著t變化，有好幾個(gè)從弱到強(qiáng)的模型）。給出一個(gè)probe-gallery pair ，作者把這幾個(gè)模型給出的結(jié)果ensemble起來(lái)，作為probe和gallery之間的距離：

最終的ranking function設(shè)計(jì)如下：

所以還要學(xué)習(xí)W這個(gè)參數(shù)矩陣。
學(xué)習(xí)的目標(biāo)函數(shù)如下：

F星號(hào)是理想的W，F(xiàn)^{ens是現(xiàn)有的W，學(xué)習(xí)的目標(biāo)就是最小化兩者的差距(理想的W，在i和j相同時(shí)應(yīng)該讓f}ens為0，在i和j不同時(shí)讓f^ens為-1，所以這個(gè)F星號(hào)是可以得到的。)。13式右邊最后那一項(xiàng)也是一個(gè)正則項(xiàng)這個(gè)R(w)可以取很多類(lèi)型，比如L1 L2 或者matrix trace，作者在這里取成這樣：

這么做的目的是為了重重懲罰(severe penalties)下面這種情況：這個(gè)pair是match的，但是分?jǐn)?shù)很低。f值是負(fù)的（從12式可以看出），如果分?jǐn)?shù)很低，那么f值在取相反數(shù)，那這個(gè)R值就很大，懲罰就大。

13式是個(gè)凸函數(shù)，可以比較輕易的做優(yōu)化。這一步里訓(xùn)練數(shù)據(jù)用的是之前人工參與的時(shí)候的true pairs。

結(jié)合上述兩個(gè)思想就能把模型訓(xùn)練出來(lái)。

實(shí)驗(yàn)結(jié)果

以上。