數(shù)據(jù)層面的集成：

測(cè)試階段數(shù)據(jù)擴(kuò)充：
訓(xùn)練階段的若干數(shù)據(jù)擴(kuò)充策略，實(shí)際上，這些 擴(kuò)充策略在模型測(cè)試階段同樣適用，諸如圖像多尺度、隨機(jī)裁剪等。以隨機(jī)扣取為例，對(duì)某張測(cè)試圖像可得到 n 張隨機(jī)扣取圖 像，測(cè)試階段只需用訓(xùn)練好的深度網(wǎng)絡(luò)模型對(duì) n 張圖分別做預(yù)測(cè)，之后將預(yù)測(cè) 的各類置信度平均作為該測(cè)試圖像最終預(yù)測(cè)結(jié)果即可。

“簡(jiǎn)易集成”法：
具體來(lái)說(shuō)，“簡(jiǎn)易集成”法對(duì)于樣本較多的類采取降采樣，每次采樣數(shù)依照樣本數(shù)目最少的類別而定，這樣每類 取到的樣本數(shù)可保持均等。采樣結(jié)束后，針對(duì)每次采樣得到的子數(shù)據(jù)集訓(xùn)練模 型，如此采樣、訓(xùn)練反復(fù)進(jìn)行多次。最后對(duì)測(cè)試數(shù)據(jù)的預(yù)測(cè)則依據(jù)訓(xùn)練得到若 干個(gè)模型的結(jié)果取平均或投票獲得?？偨Y(jié)來(lái)說(shuō)，“簡(jiǎn)易集成”法在模型集成的同時(shí)，還能緩解數(shù)據(jù)不平 衡帶來(lái)的問(wèn)題，可謂一舉兩得。

模型層面的集成：

單模型集成：

多層特征融合：
就是提取多個(gè)卷積層特征做預(yù)測(cè)，常見(jiàn)的在檢測(cè)和分割領(lǐng)域。在圖像語(yǔ)義分割 、細(xì)粒度圖像檢 索 、基于視頻的表象性格分析等任務(wù)中常見(jiàn)多層特征融合策略的使用

網(wǎng)絡(luò)“快照”集成法：

簡(jiǎn)單來(lái)說(shuō)：就是痛毆循環(huán)調(diào)整網(wǎng)絡(luò)學(xué)習(xí)率可使網(wǎng)絡(luò)依次收斂到不同的局部最優(yōu)，并快照。預(yù)測(cè)時(shí)，根據(jù)多個(gè)快照預(yù)測(cè)結(jié)果，可以采用直接平均法。

循環(huán)余弦退火”對(duì)學(xué)習(xí)率的調(diào)整后，每個(gè)循環(huán)結(jié)束可使模型收斂到 一個(gè)不同的局部最優(yōu)解，若將收斂到不同局部最優(yōu)解的模型保存便可得到 M 個(gè)處于不同收斂狀態(tài)的模型，

多模型集成：

多模型生成策略：
1、同一模型不同初始化
2、同一模型不同訓(xùn)練輪數(shù)（輪數(shù)集成”）
3、不同目標(biāo)函數(shù)：以分類任務(wù)為例，可 將“交叉熵?fù)p失函數(shù)”、“合頁(yè)損失函數(shù)”、“大間隔交叉熵?fù)p失函數(shù)”和“中心損失函數(shù)”作為目標(biāo)函數(shù)分別訓(xùn)練模型。在預(yù)測(cè)階段，既可以直接 對(duì)不同模型預(yù)測(cè)結(jié)果做“置信度級(jí)別”的平均或投票，也可 以做“特征級(jí)別”(的模型集成:將不同網(wǎng)絡(luò)得到的深度特 征抽出后級(jí)聯(lián)作為最終特征，之后離線訓(xùn)練淺層分類器(如支持向量機(jī)) 完成預(yù)測(cè)任務(wù)。
4、不同網(wǎng)絡(luò)結(jié)構(gòu)

多模型集成方法

1、直接平均法（平均置信度）

2、加權(quán)平均法（加權(quán)置信度）：實(shí)際使用時(shí)關(guān)于權(quán)重 ωi 的取值可根據(jù)不同模型在驗(yàn)證集上各自單獨(dú)的準(zhǔn)確率而定，高準(zhǔn)確率的模型權(quán)重較高，低準(zhǔn)確率模型可設(shè)置稍小權(quán)重

3、投票法（將置信度轉(zhuǎn)為預(yù)測(cè)類別，）

多數(shù)表決法：即最高置信度對(duì)應(yīng) 的類別標(biāo)記 ci ∈ {1, 2, . . . , C } 作為該模型的預(yù)測(cè)結(jié)果。多數(shù)表決法中在得 到樣本 x 的最終預(yù)測(cè)時(shí)，若某預(yù)測(cè)類別獲得一半以上模型投票，則該樣 本預(yù)測(cè)結(jié)果為該類別;若對(duì)該樣本無(wú)任何類別獲得一半以上投票，則拒絕 作出預(yù)測(cè)。

相對(duì)多數(shù)表決法：與多數(shù)表 決法會(huì)輸出“拒絕預(yù)測(cè)”不同的是，相對(duì)多數(shù)表決法一定會(huì)返回某個(gè)類別 作為預(yù)測(cè)結(jié)果，因?yàn)橄鄬?duì)多數(shù)表決是選取投票數(shù)最高的類別作為最后預(yù)測(cè) 結(jié)果。

4、堆疊法：拿 剛才的例子來(lái)說(shuō)，對(duì)于樣本 x，堆疊法的輸入是 N 個(gè)模型的預(yù)測(cè)置信 度 [s1,s2 . . . sn]，這些置信度可以級(jí)聯(lián)作為新的特征表示。之后基于這樣 的“特征表示”訓(xùn)練學(xué)習(xí)器將其映射到樣本原本的標(biāo)記空間。注意，此時(shí) 的學(xué)習(xí)器可為任何學(xué)習(xí)算法習(xí)得的模型，如支持向量機(jī)、隨機(jī)森林，當(dāng)然也可以是神經(jīng)網(wǎng)絡(luò)模型。不 過(guò)在此需要指出的是，堆疊法有較大過(guò)擬合風(fēng)險(xiǎn)。