這篇文章最大的貢獻(xiàn)就是有效降低了vision transformer的訓(xùn)練成本(時(shí)間以及數(shù)據(jù)),提高了ViT實(shí)驗(yàn)的可復(fù)現(xiàn)性,本文所提出的DeiT只需要在8塊gpu上訓(xùn)練不到3...
這篇文章最大的貢獻(xiàn)就是有效降低了vision transformer的訓(xùn)練成本(時(shí)間以及數(shù)據(jù)),提高了ViT實(shí)驗(yàn)的可復(fù)現(xiàn)性,本文所提出的DeiT只需要在8塊gpu上訓(xùn)練不到3...
谷歌和伯克利一起提出的Bottleneck Transformer(BoT)屬于一種hybrid network,將cnn和transformer結(jié)合起來(lái),以期達(dá)到比二者單獨(dú)...
(可能)是第一次大規(guī)模的采用純transformer做cv任務(wù)的文章,驗(yàn)證了transformer在cv領(lǐng)域的有效性,大大的挖坑之作。 ViT的網(wǎng)絡(luò)結(jié)構(gòu)其實(shí)很簡(jiǎn)單,就是一個(gè)普...
我發(fā)現(xiàn),手寫(xiě)損失函數(shù)一般都會(huì)運(yùn)用到很多稍微復(fù)雜一些的張量操作,很適合用來(lái)學(xué)習(xí)pytorch張量操作,所以這里分析幾個(gè)常用損失函數(shù)練習(xí)一下。 1. Binary Cross E...
最近在寫(xiě)tensorflow代碼,幾天前寫(xiě)雙向lstm的時(shí)候,就不明不白出現(xiàn)了一次梯度是NoneType的問(wèn)題,因?yàn)楫?dāng)時(shí)比較趕時(shí)間就放棄了雙向lstm。今天,在寫(xiě)transf...
利用densecrf進(jìn)行分割結(jié)果的處理,可以對(duì)邊緣起到一定的平滑作用,如果對(duì)網(wǎng)絡(luò)實(shí)時(shí)性沒(méi)有要求的話(huà),加上crf處理會(huì)讓結(jié)果好看很多.工具: numpy, pydensecrf...
寫(xiě)在前面的話(huà):本文來(lái)自于本人的一次課程作業(yè)綜述,當(dāng)時(shí)還是寫(xiě)了很久的,不想交上去就完了,所以發(fā)上來(lái)留個(gè)紀(jì)念。 摘要 將注意力機(jī)制用在計(jì)算機(jī)視覺(jué)任務(wù)上,可以有效捕捉圖片中有用的區(qū)...
在 Python 中要將某一類(lèi)型的變量或者常量轉(zhuǎn)換為字符串對(duì)象通常有兩種方法,即 str() 或者 repr() 。 但是這二者之間有什么區(qū)別呢?因?yàn)樘峁﹥蓚€(gè)功能完全相同的內(nèi)...
2019.01.25 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSThomas N. Ki...