bagging算法思想:

① 對(duì)于一個(gè)給定的含有n個(gè)訓(xùn)練樣本的數(shù)據(jù)集D={x1,x2,.....xn}；

② 重復(fù)步驟①進(jìn)行T遍得到T個(gè)訓(xùn)練集Si；

③ 在每個(gè)訓(xùn)練集上采用某種分類算法獨(dú)立地訓(xùn)練出T個(gè)基分類器Ci；

④ 對(duì)于每個(gè)測(cè)試樣本x,采用多輸投票方式得到最終的預(yù)測(cè)結(jié)果c*(x)。

Boosting算法的思想:

先賦予訓(xùn)練集中每個(gè)樣本相同的權(quán)重，然后進(jìn)行T次迭代，每次迭代后，對(duì)分類錯(cuò)誤的樣本加大重采樣權(quán)重，使得在下一次的迭代中更加關(guān)注這些樣本。這樣訓(xùn)練的多個(gè)弱分類器進(jìn)行加權(quán)融合，產(chǎn)生一個(gè)最后的結(jié)果分類器。在這T個(gè)弱小分類器中,每個(gè)分類器的準(zhǔn)確率不一定很高，但他們聯(lián)合后的結(jié)果有很高的準(zhǔn)確率，這樣便提高了該弱分類算法的準(zhǔn)確率。單個(gè)弱分類器訓(xùn)練的時(shí)候，可以用相同的分類算法，也可以用不同的分類算法，這些算法一般是不穩(wěn)定的弱分類算法，如神經(jīng)網(wǎng)絡(luò)(BP) ,決策樹(C4.5)等。