simclr動圖
https://vdn1.vzuu.com/SD/9e10ead6-5a34-11eb-b86b-26b5ae12cbf4.mp4?disable_local_cache=1&auth_key=1629184957-0-0-6f9844a215936bb0f10ab911ee8301ae&f=mp4&bu=pico&expiration=1629184957&v=hw
Simclr核心觀點：
- 數(shù)據(jù)增強(data augmentations)的組合對預(yù)測任務(wù)的表現(xiàn)有重要影響，對于非監(jiān)督學(xué)習(xí)而言，數(shù)據(jù)增強的提升作用更大；
- 本文定義了一個對比損失和表征之間的可學(xué)習(xí)非線性轉(zhuǎn)換，大幅提高了表征的質(zhì)量；
- 具有對比交叉熵?fù)p失(contrastive cross entropy loss)的表征學(xué)習(xí)得益于歸一化嵌入和適當(dāng)?shù)卣{(diào)整溫度參數(shù)；
-
與監(jiān)督學(xué)習(xí)相比，對比學(xué)習(xí)可以通過更多的訓(xùn)練和更大的Batch Size 獲得更好的表現(xiàn)，更深更寬的網(wǎng)絡(luò)對對比學(xué)習(xí)表現(xiàn)的提升也有益。
1.simclr涉及的數(shù)據(jù)增強方法，需要注意的是，在實驗中，其只使用了隨即裁剪（包括裁剪、大小調(diào)整和翻轉(zhuǎn)）、顏色失真和高斯模糊三種手段。
image.png
作者認(rèn)為單一數(shù)據(jù)增強方法都不足以學(xué)到良好的表征，即使模型可以識別出任務(wù)中的正對，組合增強方法會增大預(yù)測難度，但是能夠顯著提升表征質(zhì)量，最后作者發(fā)現(xiàn)，隨機裁剪和顏色失真的組合最有利于學(xué)習(xí)表征。
image.png
實際用到的數(shù)據(jù)增強方法
image.png
simclr中將數(shù)據(jù)增強后的圖像作為原始圖像的相近樣本，在這一設(shè)定下，作者實驗發(fā)現(xiàn)rotate等數(shù)據(jù)增強方法對于simclr是有反作用的，CSI作者解決的異常檢測問題，其pretext task設(shè)置為分辨出原始圖像與增強后的圖像，實驗發(fā)現(xiàn)simclr中性能不佳的rotate反而在異常檢測中性能較好?？赡艿脑蚴莝imclr與csi的設(shè)定可以認(rèn)為是相反的，對于csi的設(shè)定，rotate等形狀變化類數(shù)據(jù)增強方法對分類任務(wù)更敏感（作者認(rèn)為是引入更顯著的分布差異）。
1.CSI論文中涉及的數(shù)據(jù)增強方法
2.將原圖與增強后的圖進行二分類任務(wù)
可以得出perm和rotate這兩種涉及形狀變換的數(shù)據(jù)增強分發(fā)對于對于二分類任務(wù)的貢獻(xiàn)最大，說明形狀變換的數(shù)據(jù)增強方法較大的改變了數(shù)據(jù)的分布。
3.在vanilla SimCLR上自監(jiān)督學(xué)習(xí)任務(wù)對數(shù)據(jù)增強方法進行消融實驗
Align表示把數(shù)據(jù)增強當(dāng)作正樣本（認(rèn)為添加增強的圖像與原圖相似性高）
Shift表示把數(shù)據(jù)增強當(dāng)作負(fù)樣本（認(rèn)為添加增強的圖像與原圖相似性低）
實驗可知，baseline任務(wù)性能為87.9，將相關(guān)數(shù)據(jù)增強方法當(dāng)作正樣本會降低vanilla SimCLR的性能，特別是perm和rotate的反作用最明顯。
而當(dāng)作負(fù)樣本時候，將相關(guān)數(shù)據(jù)增強方法當(dāng)作正樣本會提升vanilla SimCLR的性能，特別是perm和rotate的作用最明顯。
接上表，受simclr啟發(fā)，作者也嘗試了使用多種數(shù)據(jù)增強方法要優(yōu)于單種數(shù)據(jù)增強方法，以rotate作為基礎(chǔ)，結(jié)合其他的數(shù)據(jù)增強方法。
4.數(shù)據(jù)集與數(shù)據(jù)增強的關(guān)系
作者分析了數(shù)據(jù)集特點與數(shù)據(jù)增強的關(guān)系。對于旋轉(zhuǎn)不變性的數(shù)據(jù)集，如下圖的編織紋理類數(shù)據(jù)集，旋轉(zhuǎn)不影響語義，故對任務(wù)無促進作用，而高斯噪聲則對任務(wù)有價值。更詳細(xì)的沒有說明，數(shù)據(jù)集適應(yīng)的數(shù)據(jù)增強方法只能通過實驗證明。
一些想法
在將自監(jiān)督學(xué)習(xí)引入異常檢測方法中，
- 數(shù)據(jù)增強實際上是讓增強后的數(shù)據(jù)與原數(shù)據(jù)形成差異，以便于模擬異常數(shù)據(jù)。（可通過t-sne查看分布）
- 變形類數(shù)據(jù)增強方法（rotate/perm）更容易與原始圖像區(qū)分，說明其與原始圖像的分布差異更大，原始其他數(shù)據(jù)增強是在原圖基礎(chǔ)上做的。
- 不同數(shù)據(jù)集的正常/異常數(shù)據(jù)分布不同，像mnist/cifar10等數(shù)據(jù)集模擬異常檢測任務(wù)，爭產(chǎn)樣本與異常樣本的分布差異較大，使用變形類數(shù)據(jù)增強方法可能更能模擬此種差異。而像ped2這種實際場景下的異常事件數(shù)據(jù)集，正常/異常樣本的分布差異可能很小，此時使用變形類數(shù)據(jù)增強方法是不合適的?？梢越Y(jié)合t-sne分析哪些數(shù)據(jù)增強方法與異常樣本集合更像，以及如何量化增強后的正常數(shù)據(jù)與異常數(shù)據(jù)的相似度（余弦距離？）
