本文為北大唐杰組發(fā)表的自監(jiān)督學(xué)習(xí)綜述論文
1 INTRODUCTION
Yann LeCun將自監(jiān)督學(xué)習(xí)定義為”the machine predicts any parts of its input for
any observed part”.
作者將自監(jiān)督學(xué)習(xí)做如下概述：
- 從數(shù)據(jù)本身依靠半自動(dòng)過程獲取標(biāo)簽
- 根據(jù)數(shù)據(jù)的其他部分預(yù)測(cè)數(shù)據(jù)的一部分信息（可參考image inpainting任務(wù)）。這里的其余部分指不完整的、扭曲的、變形的、污損的。模型基于這些“其余部分”完成對(duì)于圖像整體或者部分的修復(fù)。
非監(jiān)督與自監(jiān)督的關(guān)系。
自監(jiān)督學(xué)習(xí)由于沒有人為標(biāo)注數(shù)據(jù)，可看作是非監(jiān)督的分支。但是嚴(yán)格來講，非監(jiān)督學(xué)習(xí)旨在學(xué)習(xí)數(shù)據(jù)的特定模式，如聚類，異常檢測(cè)。自監(jiān)督學(xué)習(xí)旨在復(fù)原數(shù)據(jù)，仍屬于監(jiān)督型學(xué)習(xí)的范式中。
2 .MOTIVATION OF SELF-SUPERVISED LEARNING
監(jiān)督型學(xué)習(xí)算法極度依賴數(shù)據(jù)，由于它基于很少的先驗(yàn)假設(shè)，當(dāng)數(shù)據(jù)量較小時(shí)，算法容易過擬合并且在場(chǎng)景間性能不均衡。為了解決監(jiān)督型學(xué)習(xí)的OOD及泛化問題，一般從新的網(wǎng)絡(luò)結(jié)構(gòu)和提供更多的訓(xùn)練數(shù)據(jù)兩個(gè)方面入手，但是高質(zhì)量的手動(dòng)標(biāo)注數(shù)據(jù)非常昂貴。自監(jiān)督學(xué)習(xí)最重要的一點(diǎn)便是可以借助海量的無標(biāo)簽數(shù)據(jù)進(jìn)行學(xué)習(xí)。
作者將目前的自監(jiān)督學(xué)習(xí)歸類為生成式，對(duì)比式，生成/對(duì)比式（對(duì)抗）。
生成式：訓(xùn)練自編碼器壓縮重建輸入。
對(duì)比式：訓(xùn)練編碼器將輸入編碼為向量，對(duì)比相似性。
對(duì)抗式：；使用自編碼器生成假樣本，使用判別器判別真假樣本（GAN）
三種方式的區(qū)別：
- 隱向量：生成式和對(duì)比式中，向量z是顯示的，對(duì)抗式中，z是隱式的。
- 判別器：生成式?jīng)]有判別器，另外兩種方法有判別器。
-
訓(xùn)練目標(biāo)：生成式使用重建損失，對(duì)比式使用對(duì)比相似度度量，對(duì)抗式使用分布差異。
近年自監(jiān)督學(xué)習(xí)方法
3.GENERATIVE SELF-SUPERVISED LEARNING
包括autoregressive
(AR) models, flow-based models, auto-encoding
(AE) models, and hybrid generative models.
自回歸模型autoregressive(AR) models
AR可以看作是貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，在自然語言處理中，自回歸語言模型的目標(biāo)通常是最大化正向自回歸因子分解的似然。例如 GPT、GPT-2 使用 Transformer 解碼器結(jié)構(gòu)進(jìn)行建模；在計(jì)算機(jī)視覺中，自回歸模型用于逐像素建模圖像，例如在 PixelRNN 和 PixelCNN 中，下方（右側(cè)）像素是根據(jù)上方（左側(cè)）像素生成的；而在圖學(xué)習(xí)中，則可以通過深度自回歸模型來生成圖，例如 GraphRNN 的目標(biāo)為最大化觀察到的圖生成序列的似然。自回歸模型的優(yōu)點(diǎn)是能夠很好地建模上下文依賴關(guān)系。然而，其缺點(diǎn)是每個(gè)位置的 token 只能從一個(gè)方向訪問它的上下文。
基于流模型flow-based models
flow-based models 是希望估計(jì)數(shù)據(jù)的復(fù)雜高維分布。
自編碼器模型
AE的目標(biāo)是對(duì)損壞的輸入進(jìn)行重建。涉及的模型包括基本AE,DAE,VAE.
