轉(zhuǎn)：
采用預(yù)訓(xùn)練模型：可利用ImageNet上的參數(shù)
pytouch Model Zoo提供的模型
AlexNet VGG Inception ResNet DenseNet
下載了Github 下載從Tensorflow inception
Hyperdboard（Githubshang ） 訓(xùn)練記錄曲線(xiàn)
0.0001是較好的學(xué)習(xí)率
80%/20% training/validing
數(shù)據(jù)增強(qiáng)：把原來(lái)的樣本用數(shù)據(jù)的手段變得更多，防止過(guò)擬合的方法
提升模型：1、換取參數(shù)量更大的模型
2、不在卷積層改動(dòng)，而是在全連接層進(jìn)行改進(jìn)
3、改動(dòng)頂層
4、小模型拼接
5、batchnorm dropout L2
調(diào)參：階段性降低學(xué)習(xí)率
記錄數(shù)據(jù)結(jié)果
模型選擇：
resnet/densenet
VGG/inception v3
TTA：在測(cè)試時(shí)對(duì)一個(gè)樣本的不同增強(qiáng)進(jìn)行預(yù)測(cè)，獲得不同結(jié)果
將不同結(jié)果平均或投票獲得最終結(jié)果
k折交叉驗(yàn)證
把數(shù)據(jù) 劃分為5折，4折做訓(xùn)練集，1折做預(yù)測(cè)集
可以得到五個(gè)模型，一起展現(xiàn)性能，共享同一個(gè)劃分，控制變量
模型集成階段：把五個(gè)模型集成到一起，獲得五個(gè)概率，
用ensemle selection的 average bagging 概率矩陣模型
attention stacking
stacking 每一個(gè)模型的每一個(gè)類(lèi)上都有一個(gè)權(quán)重，不同模型對(duì)不同類(lèi)的表現(xiàn)不一樣
每一個(gè)類(lèi)單獨(dú)做一個(gè)單分類(lèi)器，去預(yù)測(cè)17個(gè)結(jié)果，
對(duì)每一個(gè)類(lèi)做多模型的softmax，使得參數(shù)加權(quán)為1，則其輸出為其權(quán)重
