這篇文章最大的貢獻(xiàn)就是有效降低了vision transformer的訓(xùn)練成本（時(shí)間以及數(shù)據(jù)），提高了ViT實(shí)驗(yàn)的可復(fù)現(xiàn)性，本文所提出的DeiT只需要在8塊gpu上訓(xùn)練不到3...
發(fā)簡(jiǎn)信
IP屬地：北京
-
Training data-ef?cient image transformers & distillation through attention -
Bottleneck Transformers for Visual Recognition谷歌和伯克利一起提出的Bottleneck Transformer（BoT）屬于一種hybrid network，將cnn和transformer結(jié)合起來(lái)，以期達(dá)到比二者單獨(dú)...
-
An image is worth 16 x 16 words: transformers for image recognition at a scale（可能）是第一次大規(guī)模的采用純transformer做cv任務(wù)的文章，驗(yàn)證了transformer在cv領(lǐng)域的有效性，大大的挖坑之作。 ViT的網(wǎng)絡(luò)結(jié)構(gòu)其實(shí)很簡(jiǎn)單，就是一個(gè)普...
-
pytorch學(xué)習(xí)經(jīng)驗(yàn)（五）手動(dòng)實(shí)現(xiàn)交叉熵?fù)p失及Focal Loss我發(fā)現(xiàn)，手寫(xiě)損失函數(shù)一般都會(huì)運(yùn)用到很多稍微復(fù)雜一些的張量操作，很適合用來(lái)學(xué)習(xí)pytorch張量操作，所以這里分析幾個(gè)常用損失函數(shù)練習(xí)一下。 1. Binary Cross E...
-
Tensorflow計(jì)算梯度為NoneType：ValueError: Tried to convert 'y' to a tensor and failed. Error: None valu...
最近在寫(xiě)tensorflow代碼，幾天前寫(xiě)雙向lstm的時(shí)候，就不明不白出現(xiàn)了一次梯度是NoneType的問(wèn)題，因?yàn)楫?dāng)時(shí)比較趕時(shí)間就放棄了雙向lstm。今天，在寫(xiě)transf...
-
利用densecrf對(duì)分割結(jié)果進(jìn)行后處理
利用densecrf進(jìn)行分割結(jié)果的處理,可以對(duì)邊緣起到一定的平滑作用,如果對(duì)網(wǎng)絡(luò)實(shí)時(shí)性沒(méi)有要求的話(huà),加上crf處理會(huì)讓結(jié)果好看很多.工具: numpy, pydensecrf...
-
計(jì)算機(jī)視覺(jué)中的注意力機(jī)制研究
寫(xiě)在前面的話(huà)：本文來(lái)自于本人的一次課程作業(yè)綜述，當(dāng)時(shí)還是寫(xiě)了很久的，不想交上去就完了，所以發(fā)上來(lái)留個(gè)紀(jì)念。 摘要 將注意力機(jī)制用在計(jì)算機(jī)視覺(jué)任務(wù)上，可以有效捕捉圖片中有用的區(qū)...
-
Python中str()與repr()函數(shù)的區(qū)別
在 Python 中要將某一類(lèi)型的變量或者常量轉(zhuǎn)換為字符串對(duì)象通常有兩種方法，即 str() 或者 repr() 。 但是這二者之間有什么區(qū)別呢？因?yàn)樘峁﹥蓚€(gè)功能完全相同的內(nèi)...
-
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)論文選讀2019.01.25 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSThomas N. Ki...
