ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring
文章發(fā)表于ICLR2020
這篇文章是針對(duì)MixMatch的改進(jìn)，針對(duì)如何生成更有效的人工標(biāo)簽，提出了兩個(gè)技術(shù)：Distribution Alignment 和Augmentation anchoring。
首先前情回顧一下半監(jiān)督學(xué)習(xí)和MixMatch：
半監(jiān)督方法的目是充分利用少量的有標(biāo)數(shù)據(jù)以及大量的無(wú)標(biāo)數(shù)據(jù)。
為了充分利用有標(biāo)數(shù)據(jù)，通常會(huì)對(duì)有標(biāo)數(shù)據(jù)進(jìn)行增強(qiáng)
為了充分利用無(wú)標(biāo)數(shù)據(jù)，會(huì)通過(guò)一種方法給無(wú)標(biāo)數(shù)據(jù)打上人工標(biāo)簽，然后就可以像有標(biāo)數(shù)據(jù)一樣利用起來(lái)
MixMatch的主要步驟如下：
1.對(duì)有標(biāo)數(shù)據(jù)進(jìn)行增強(qiáng)
2.給無(wú)標(biāo)數(shù)據(jù)一個(gè)人工標(biāo)簽。通過(guò)對(duì)一個(gè)無(wú)標(biāo)數(shù)據(jù)增強(qiáng)K次并輸入模型得到預(yù)測(cè)結(jié)果，對(duì)K次結(jié)果進(jìn)行平均并銳化（Sharpen），得到人工標(biāo)簽。值得注意的是，這里的標(biāo)簽并不是one-hot的，而是一個(gè)概率分布。
3.將增強(qiáng)后有標(biāo)數(shù)據(jù)和K個(gè)打上人工標(biāo)簽的無(wú)標(biāo)數(shù)據(jù)都當(dāng)做是有標(biāo)數(shù)據(jù)，正常進(jìn)行Mixup操作。
綜上，MixMatch是綜合一致性正則 和 熵最小正則（smoothness/cluster assumption）的應(yīng)用。
一致性正則體現(xiàn)在將一個(gè)無(wú)標(biāo)數(shù)據(jù)增強(qiáng)K次后打上同樣的label。
熵最小正則體現(xiàn)在給無(wú)標(biāo)數(shù)據(jù)一個(gè)人工標(biāo)簽的過(guò)程。
ReMixMatch動(dòng)機(jī)：對(duì)MixMatch中人工標(biāo)簽生成過(guò)程進(jìn)行改進(jìn)。首先認(rèn)為打標(biāo)的過(guò)程中增強(qiáng)K次的無(wú)標(biāo)數(shù)據(jù)的模型預(yù)測(cè)結(jié)果之間有分布不一致的問(wèn)題，因此提出了Distribution Alignment來(lái)進(jìn)行處理。其次是針對(duì)是K個(gè)增強(qiáng)之后的無(wú)標(biāo)數(shù)據(jù)都打上同樣的Label這個(gè)過(guò)程也會(huì)有問(wèn)題，因此提出了Augmentation Anchoring來(lái)處理。
方法
首先是Distribution Alignment
其次是Augmentation Anchoring
這里補(bǔ)充一句：這其實(shí)就是一致性正則的另一種形式，這里的label也還是一個(gè)概率分布，因此會(huì)存在一些問(wèn)題（未來(lái)有文章解決了）
算法流程如下：
實(shí)驗(yàn)結(jié)果如下：
