這篇是CVPR2019已經(jīng)錄用的少數(shù)幾篇re-ID方向的論文，來(lái)自中山大學(xué)和騰訊實(shí)驗(yàn)室，代碼也已經(jīng)放出來(lái)了(https://github.com/KovenYu/MAR)
想法是引入輔助數(shù)據(jù)集來(lái)挖掘無(wú)標(biāo)簽的樣本潛在的標(biāo)簽信息，有效地提升了無(wú)監(jiān)督re-ID的效果.

1.文章解決了什么問(wèn)題，提出了怎樣的解決方法

1）在無(wú)監(jiān)督的re-ID中，因?yàn)槿鄙倏鐢z像頭的成對(duì)的標(biāo)簽圖片，因此我們很難學(xué)習(xí)到 discriminative information.

解決問(wèn)題1：文章提出了基于無(wú)監(jiān)督re-ID的soft multilabel learning(軟多標(biāo)簽學(xué)習(xí))，主要思想是通過(guò)比較unlabeled person和一組參考數(shù)據(jù)集中的person，從而為每一個(gè)無(wú)標(biāo)簽的人學(xué)習(xí)一個(gè)soft multilabel.

soft multilabel的概念

2) Soft Multilabel Learning怎樣挖掘無(wú)標(biāo)簽的re-ID數(shù)據(jù)集中的潛在標(biāo)簽信息？

解決問(wèn)題2：提出multilabel reference learning(MAR)，包括soft multilabel-guided hard negative mining, cross-view consistent soft multilabel learning, reference agent learning相互協(xié)作來(lái)挖掘隱藏的標(biāo)簽信息。

soft multilabel-guided hard negative mining

文章使用soft multilabel 來(lái)區(qū)分視覺(jué)上相似但實(shí)則不同的人。因?yàn)閟oft multilabel本質(zhì)上代表了樣本的comparative characteristics，所以它不僅僅是從視覺(jué)上來(lái)表達(dá)一個(gè)人。實(shí)際上，一個(gè)人的一對(duì)樣本圖片應(yīng)當(dāng)不僅在視覺(jué)上相似，且應(yīng)與參考樣本有相似的relative comparative characteristics. 如果一個(gè)圖片對(duì)僅僅在視覺(jué)上相似而在對(duì)比特征上不相似，那么它可能是個(gè)負(fù)樣本對(duì)。

soft multilabel-guided hard negative mining

cross-view consistent soft multilabel learning

re-ID中，大部分圖片對(duì)都是跨視域的，即兩個(gè)人的圖片是由不同攝像頭拍攝的，因此提出cross-view consistent soft multilabel learning來(lái)學(xué)習(xí)能在跨攝像頭的情況下仍然保持良好的soft multilabel.

reference agent learning

因?yàn)橐罅康乇容^目標(biāo)數(shù)據(jù)集與輔助數(shù)據(jù)集的樣本，文章提出了reference agent.

2.怎么實(shí)現(xiàn)Soft Multilabel Learning?

主要包括三個(gè)部分：

soft multilabel-guided hard negative mining
cross-view consistent soft multilabel learning
reference agent learning
它們的協(xié)作如圖.

MAR framework

設(shè)定

目標(biāo)數(shù)據(jù)集樣本

輔助數(shù)據(jù)集樣本

我們的目標(biāo)是學(xué)習(xí)一個(gè)soft multilabel function l(x,z)和feature embedding f(x)

reference agent

soft multilabel-guided hard negative mining

Soft multilabel function

Assumption 1
文章在這里提出一個(gè)假設(shè)：若一對(duì)無(wú)標(biāo)簽行人圖片擁有高特征相似度，那么，稱(chēng)之為similar pair(相似對(duì)),若一個(gè)相似對(duì)擁有高度相似的對(duì)比特征，那么它可能是一個(gè)正樣本，否則可能為負(fù)樣本。