部分標簽學習（PLL）是一個重要的問題，它允許每個訓練示例使用一個粗略的候選集進行標記，這非常適合許多具有標簽模糊性的真實數(shù)據(jù)標注場景。盡管有這樣的承諾，PLL的性能往往落后于監(jiān)督的同類產(chǎn)品。
在這項工作中，我們通過在一個連貫的框架中解決PLL表征學習和標簽消歧中的兩個關(guān)鍵研究挑戰(zhàn)來彌合這一差距。具體來說，我們提出的框架PiCO包括一個對比學習模塊和一個新的基于類原型的標簽消歧算法。
PiCO為來自同一類的示例生成緊密對齊的表示，并有助于消除標簽歧義。理論上，我們證明了這兩個組成部分是互惠互利的，并且可以從期望最大化（EM）算法的角度嚴格證明。
1. INTRODUCTION
現(xiàn)代深層神經(jīng)網(wǎng)絡的訓練通常需要大量的標記數(shù)據(jù)，這給數(shù)據(jù)收集帶來了巨大的障礙。在一個特殊的挑戰(zhàn)中，現(xiàn)實世界中的數(shù)據(jù)注釋自然會受到固有的標簽模糊性和噪聲的影響。例如，如圖所示
1.對人類注釋者來說，從西伯利亞哈士奇犬中識別阿拉斯加雪橇犬可能很困難。在許多應用中，標簽模糊的問題很普遍，但往往被忽視，例如web挖掘和自動圖像注釋。這就產(chǎn)生了部分標簽學習（PLL）的重要性，其中每個培訓示例都配備了一組候選標簽，而不是確切的gt標簽。這與受監(jiān)督的對應標簽形成對比，后者必須選擇一個標簽作為“gold”?？梢哉f，PLL問題在各種情況下被認為更常見、更實用，因為它的成本相對較低。盡管有這樣的承諾，PLL的一個核心挑戰(zhàn)是標簽消歧，即識別gt候選標簽集中的真值標簽。
本文在一個連貫、協(xié)同的框架下，通過協(xié)調(diào)表征學習和標簽消歧這兩個高度相關(guān)的問題之間的內(nèi)在張力，彌合了這一差距。我們的框架，部分標簽學習與對比標簽消歧（簡稱PiCO），為來自相同類的示例生成緊密對齊的表示，并有助于消除標簽歧義。具體來說，PiCO封裝了兩個關(guān)鍵組件。首先，利用對比學習（CL）來進行部分標簽學習，為了緩解構(gòu)建正對的關(guān)鍵挑戰(zhàn)，我們利用分類器的輸出并生成偽正對進行對比。其次，基于學習到的embedding，提出了一種新的基于原型的標簽消歧策略?；?strong>最接近的類原型，逐步更新用于分類的偽目標。通過交替上述兩個步驟，PiCO收斂到一個具有高度可分辨表示的解決方案，以實現(xiàn)精確分類，根據(jù)經(jīng)驗，PiCO在三個基準數(shù)據(jù)集上建立了最先進的性能，顯著優(yōu)于基線（第4節(jié)），并獲得了與完全監(jiān)督學習相競爭的結(jié)果，理論上，我們證明了我們的對比表征學習和基于原型的標簽消歧是互利的，并且可以從期望最大化（EM）算法的角度進行嚴格解釋。首先，經(jīng)過改進的偽標記通過準確地選擇偽陽性例子來改進對比學習。這可以類似于E-step，在E-step中，我們利用分類器的輸出將每個數(shù)據(jù)示例分配給一個特定于標簽的集群。其次，更好的對比性能反過來提高了表達的質(zhì)量，從而提高了標簽消歧的有效性。
2. BACKGROUND
與監(jiān)督學習設置相同，PLL的目標是獲得預測與輸入相關(guān)的一個真實標簽的功能映射。然而，不同的是，PLL設置承擔了更多的不確定性標簽空間。PLL的一個基本假設是，gt真值標簽yi隱藏在其候選集中。因此，與具有明確基本事實的有監(jiān)督學習任務相比，學習過程可能存在固有的模糊性。
PLL的關(guān)鍵挑戰(zhàn)是從候選標簽集中識別gt標簽。在訓練過程中，我們?yōu)槊總€圖像分配一個歸一化向量si作為偽目標，其條目表示標簽為基本真理的概率。總概率質(zhì)量1分配給Yi中的候選標簽。請注意，si將在培訓過程中更新。理想情況下，si應該在訓練過程中對（未知）地面真相標簽yi施加更多概率質(zhì)量。我們訓練一個分類器f:X→ [0,1]C使用交叉熵損失，以si為目標預測。每個樣品的損失由下式給出：
分類器的輸出用于確定對比學習的積極同伴。然后使用對比原型逐步更新偽目標。動量嵌入由一個隊列結(jié)構(gòu)來維持 "http://" 意味著停止梯度。
3. METHOD
PiCO由兩個關(guān)鍵組件組成，分別解決表示質(zhì)量和標簽模糊性。在第5節(jié)中，我們進一步從EM的角度對PiCO進行了嚴格的理論解釋
3.1 PLL的對比表征學習
3.1.2 Training Objective
首先，給定每個示例（x，Y），我們通過隨機數(shù)據(jù)擴充方法Aug（x）。然后，這兩個圖像被送入一個query網(wǎng)絡g（·）和一個key網(wǎng)絡g′（·），產(chǎn)生一對L2規(guī)范化embedding q=g（Aug-q（x））和k=g′（Aug-k（x））。在實現(xiàn)中，查詢網(wǎng)絡共享相同的卷積塊作為分類器，后面是預測頭。key網(wǎng)絡使用query網(wǎng)絡的動量更新。此外，我們還維護一個存儲最新key embedding k的隊列，并按時間順序更新隊列。為此，我們有以下對比embedding pool:
其中，Bq和Bk是與當前小批量的query和key視圖相對應的向量嵌入。給出一個示例x，通過將其query embedding與pool A的其余部分進行對比，來定義每個樣本的對比損失
其中P（x）是正集，A（x）=A \ {q}。τ ≥ 0 is the temperature
3.1.3 Positive Set Selection.
關(guān)鍵的挑戰(zhàn)是如何構(gòu)造正集P（x）。我們建議使用來自分類器的預測標簽
請注意，我們將預測標簽限制在候選集合Y中。然后選擇以下正面例子
其中，y’是k′的相應訓練示例的預測標簽。為了提高計算效率，我們還維護了一個標簽隊列來存儲過去的預測。換句話說，我們將x的正集合定義為那些具有相同近似標簽預測?y的示例。盡管其簡單，但我們表明，我們的選擇策略在理論上是合理的，并且也會產(chǎn)生更好的實證結(jié)果。綜合起來，我們共同訓練分類器和對比網(wǎng)絡?？傮w損失函數(shù)為：
盡管如此，我們通過CL學習高質(zhì)量表示的目標依賴于準確的正集選擇分類器預測，這在標簽模糊的情況下仍然沒有得到解決。為此，我們進一步提出了一種基于對比嵌入的標簽消歧機制，并證明這兩種機制是互利的。
3.2 基于原型的標簽消歧
正如我們所提到的，對比損失在嵌入空間中產(chǎn)生了聚集效應。作為一種協(xié)作算法，我們介紹了我們新的基于原型的標簽消歧策略。重要的是，我們保留了一個原型嵌入向量μc
對應于每個類c∈ {1，2，…，C}，可以看作是一組代表性的嵌入向量。毫無疑問，偽目標分配的一個簡單版本是找到最接近的目標原型
當前嵌入向量。值得注意的是，這個原語類似于聚類步驟。此外，我們還通過使用移動平均方式公式來軟化這個硬標簽分配版本。為此，我們可以直觀地假設，原型的使用與對比術(shù)語帶來的嵌入空間中的聚類效應建立了聯(lián)系。
3.2.1 Pseudo Target Updating
我們提出了一種softened and moving-average策略來更新偽目標。具體來說，我們首先用均勻分布初始化偽目標
然后，我們通過以下移動平均機制對其進行迭代更新
φ∈ （0,1）是一個正常數(shù)，μj是對應于第j類的原型。直覺是，擬合統(tǒng)一的偽目標會導致分類器的良好初始化，因為對比嵌入在開始時不易區(qū)分。然后，移動平均策略將偽目標平滑地更新為正確的目標，同時確保訓練的穩(wěn)定性；在第5節(jié)后面提供了更嚴格的驗證后，我們對原型進行了如下解釋：（i）對于給定的輸入x，最接近的原型表示其gt類別標簽。在每一步中，s都有向z根據(jù)式（6）定義的一個熱分布輕微移動的趨勢；（ii）如果一個示例始終指向一個原型，偽目標s可以（幾乎）以最小的模糊度收斂到一個熱向量。
3.2.2. Prototype Updating
更新原型嵌入的最規(guī)范的方法是計算在訓練的每一次迭代中都會用到它。然而，這將導致沉重的計算代價，進而導致無法承受的訓練延遲。因此，我們以類似的移動平均方式更新類條件原型向量
其中，c類的動量原型μc由標準化query embedding q的移動平均值定義，其預測類符合c。γ是一個可調(diào)超參數(shù)
3.3 SYNERGY BETWEEN CONTRASTIVE LEARNING AND LABEL DISAMBIGUATION
雖然看似彼此分離，但PiCO的兩個關(guān)鍵組件以協(xié)作的方式工作。
- 由于對比術(shù)語在embedding space中有利地表現(xiàn)出聚類效應，標簽消歧模塊通過設置更精確的原型進一步利用了這一點。
- 一組經(jīng)過精心修飾的標簽消歧結(jié)果可能反過來也會影響正集結(jié)構(gòu)，正集結(jié)構(gòu)是對比學習階段的關(guān)鍵部分。
當這兩個部分的表現(xiàn)令人滿意時，整個訓練過程就會收斂。在第5節(jié)中，我們進一步嚴格地繪制了PiCO與經(jīng)典EM風格聚類算法的相似之處。我們的實驗，尤其是第4.3節(jié)中顯示的消融研究，進一步證明了這兩種成分之間協(xié)同作用的相互依賴性。我們完整算法的偽代碼如附錄C所示。
