深度神經(jīng)網(wǎng)絡(luò)已經(jīng)是橫行于視覺(jué)以及自然語(yǔ)言處理領(lǐng)域，但是為什么在表格數(shù)據(jù)上卻表現(xiàn)平平呢， 這篇論文——啊 摘要的第一個(gè)單詞就看不懂，Heterogeneous 異質(zhì)性。說(shuō)白了...
發(fā)簡(jiǎn)信
IP屬地：河北
-
Deep Neural Networks and Tabular Data: A Survey 深度神經(jīng)網(wǎng)絡(luò)與表格數(shù)據(jù)：綜述 2022-04-18 -
Masked Autoencoders Are Scalable Vision Learners 2021-11-13ViT作為Backbone, 用類似BERT的方式進(jìn)行自監(jiān)督預(yù)訓(xùn)練，通過(guò)隨機(jī)遮蓋大部分patch讓encoder更好地“理解”圖片。 重點(diǎn)以及和BEIT的區(qū)別 其實(shí)把BERT...
-
【Kaggle日記】呼吸機(jī)壓力預(yù)測(cè) 2021-11-09谷歌呼吸機(jī)壓力預(yù)測(cè)比賽[https://www.kaggle.com/c/ventilator-pressure-prediction/overview]參考：數(shù)據(jù)探索[ht...
-
GBDT 實(shí)用向指南，特征工程以及調(diào)參 2021-05-02Gradient Boosting Decision Trees 是把1999年的 Gradient Boosting Machine[https://statweb.sta...
-
METRO 掩碼頂點(diǎn)模型人體Mesh重建 2021-07-02視頻版：https://www.bilibili.com/video/BV15B4y1T7Q7[https://www.bilibili.com/video/BV15B4y1...
-
MLP-Mixer, FNet 2021-05-29視覺(jué)任務(wù)一直是以CNN為主流，2020年出現(xiàn)了基于NLP領(lǐng)域Transformer的模型Vision Transformer，用自注意力機(jī)制來(lái)替換CNN，而同一團(tuán)隊(duì)今年發(fā)表了...
-
RepVGG 結(jié)構(gòu)重參數(shù)化 2021-05-17https://arxiv.org/pdf/2101.03697.pdf[https://arxiv.org/pdf/2101.03697.pdf] 今年三月份發(fā)布這項(xiàng)工作叫...
-
ViT 對(duì)比 swin Transformer 2021-05-18ViT AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALEhttps://ar...
-
Contrastive Learning, MoCo 對(duì)比學(xué)習(xí) 2021-05-09深度神經(jīng)網(wǎng)絡(luò)有著強(qiáng)大的表征能力一張輸入圖片經(jīng)過(guò)層層變換表達(dá)為一個(gè)特征向量如果是監(jiān)督學(xué)習(xí)，特征的預(yù)測(cè)結(jié)果可以和標(biāo)簽比對(duì)作為損失函數(shù)；那如果是無(wú)監(jiān)督學(xué)習(xí)，沒(méi)有l(wèi)abel,損失函數(shù)...
-
NFNet, 理解BN然后拋棄它 2021-05-15https://arxiv.org/pdf/2102.06171.pdf[https://arxiv.org/pdf/2102.06171.pdf]NFNet這篇論文的內(nèi)容很...
-
Efficient NetV1V2，MnasNet， 2021-05-13這篇論文探索了卷積神經(jīng)網(wǎng)路模型在三個(gè)維度上的縮放對(duì)精度的影響，分別是深度（層數(shù)），寬度（通道數(shù)）以及分辨率（特征圖的寬度和高度）。 它的主要貢獻(xiàn)就是提出了一種在增加參數(shù)量時(shí)平...
-
頻率學(xué)派 極大似然估計(jì)MLE，貝葉斯學(xué)派 最大后驗(yàn)估計(jì)MAP 2021-05-11MLE和MAP，如何從數(shù)據(jù)樣本估計(jì)參數(shù)？ 其實(shí)機(jī)器學(xué)習(xí)包括深度學(xué)習(xí)的模型都是在學(xué)習(xí)數(shù)據(jù)的分布。那么如何根據(jù)已有數(shù)據(jù)，估計(jì)影響數(shù)據(jù)的概率分布的參數(shù)（比如均勻分布的最大最小值，正...
-
HRNet/ Lite-HRNet 2021-03-29時(shí)間終于來(lái)到了2020年！今天來(lái)讀一讀這一篇還蠻有新意的高分辨率神經(jīng)網(wǎng)絡(luò)。之前講過(guò)的 AlexNet， VGGNet， GoogleNet， ResNet， 他們都和LeNe...
-
你好，最近正在趕論文生死關(guān)頭也沒(méi)有時(shí)間，問(wèn)問(wèn)別人看？祝好運(yùn)！
Inception 系列 2021-03-22
對(duì)Inception系列的三篇論文，5個(gè)模型進(jìn)行一個(gè)淺顯的總結(jié)對(duì)比。來(lái)看看系列之首的第一個(gè)參考文獻(xiàn)——we need to go deeper， 這在這個(gè)系列中有兩個(gè)意思，從...
-
DenseNet 特征復(fù)用 2021-03-222018 https://arxiv.org/pdf/1608.06993.pdf[https://arxiv.org/pdf/1608.06993.pdf]參考博客：ht...
-
Inception 系列 2021-03-22對(duì)Inception系列的三篇論文，5個(gè)模型進(jìn)行一個(gè)淺顯的總結(jié)對(duì)比。來(lái)看看系列之首的第一個(gè)參考文獻(xiàn)——we need to go deeper， 這在這個(gè)系列中有兩個(gè)意思，從...
-
模型退化 2021-03-23寫一寫我理解的模型退化 矩陣退化 首先來(lái)回顧一點(diǎn)線性代數(shù)中退化矩陣的知識(shí)，退化這個(gè)概念應(yīng)該是類似線性代數(shù)中的退化矩陣，也叫奇異矩陣，特點(diǎn)是行列式為0，也就是說(shuō)矩陣內(nèi)* 存在線...
-
ResNet 系列 殘差連接 2021-03-05殘差連接是什么 雖然普遍認(rèn)為神經(jīng)網(wǎng)絡(luò)模型越深，擬合能力越好，但是由于梯度消失/爆炸等問(wèn)題，在深度到達(dá)了一定程度后, 模型的表現(xiàn)會(huì)不升反降。2015年的ResNet是針對(duì)模型退...