MixMatch: A Holistic Approach to Semi-Supervised Learning.
文章發(fā)表于NeurIPS 2019
半監(jiān)督方法的目是充分利用少量的有標數(shù)據(jù)以及大量的無標數(shù)據(jù)。
為了充分利用有標數(shù)據(jù)，通常會對有標數(shù)據(jù)進行增強
為了充分利用無標數(shù)據(jù)，會通過一種方法給無標數(shù)據(jù)打上人工標簽，然后就可以像有標數(shù)據(jù)一樣利用起來
MixMatch的主要步驟如下：
image.png
1.對有標數(shù)據(jù)進行增強
2.給無標數(shù)據(jù)一個人工標簽。通過對一個無標數(shù)據(jù)增強K次并輸入模型得到預測結(jié)果，對K次結(jié)果進行平均并銳化（Sharpen），得到人工標簽。值得注意的是，這里的標簽并不是one-hot的，而是一個概率分布。
3.將增強后有標數(shù)據(jù)和K個打上人工標簽的無標數(shù)據(jù)都當做是有標數(shù)據(jù)，正常進行Mixup操作。
由此可見，該方法一致性正則 和 熵最小正則（smoothness/cluster assumption）的應用。
一致性正則體現(xiàn)在將一個無標數(shù)據(jù)增強K次后打上同樣的label
熵最小正則體現(xiàn)在給無標數(shù)據(jù)一個人工標簽的過程
實驗
image.png
image.png
