boosting是一種集成技術(shù)，試圖從多個(gè)弱分類器中創(chuàng)建強(qiáng)分類器。通過從訓(xùn)練數(shù)據(jù)構(gòu)建一個(gè)模型，然后創(chuàng)建第二個(gè)模型試圖糾正第一個(gè)模型中的錯(cuò)誤。不斷添加模型，直到訓(xùn)練集被完美地預(yù)測或者添加到最大數(shù)量。
AdaBoost是第一個(gè)為二分類開發(fā)的真正成功的提升算法?，F(xiàn)代boosting方法建立在AdaBoost上，最著名的是隨機(jī)梯度提升機(jī)（stochastic gradient boosting machines）。
AdaBoost用于短決策樹。創(chuàng)建第一棵樹之后，使用樹在每個(gè)訓(xùn)練實(shí)例上的性能來得到一個(gè)權(quán)重，決定下一棵樹對每個(gè)訓(xùn)練實(shí)例的注意力。
難以預(yù)測的訓(xùn)練數(shù)據(jù)被賦予更多權(quán)重，而易于預(yù)測的實(shí)例被賦予更少的權(quán)重。模型是一個(gè)接一個(gè)地順序創(chuàng)建的，每個(gè)模型更新訓(xùn)練實(shí)例上的權(quán)重，這些權(quán)重影響序列中下一個(gè)樹所執(zhí)行的學(xué)習(xí)。構(gòu)建完所有樹之后，將對新數(shù)據(jù)進(jìn)行預(yù)測。
因?yàn)橹赜谛拚惴ǖ腻e(cuò)誤，所以重要的是提前清洗好數(shù)據(jù)，去掉異常值。
Adaboost是一種迭代算法，其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器（強(qiáng)分類器）。
算法簡介
Adaboost是一種迭代算法，其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器)。其算法本身是通過改變數(shù)據(jù)分布來實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個(gè)樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器。使用adaboost分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特征，并放在關(guān)鍵的訓(xùn)練數(shù)據(jù)上面。
算法應(yīng)用
對adaBoost算法的研究以及應(yīng)用大多集中于分類問題，同時(shí)也出現(xiàn)了一些在回歸問題上的應(yīng)用。就其應(yīng)用adaBoost系列主要解決了: 兩類問題、多類單標(biāo)簽問題、多類多標(biāo)簽問題、大類單標(biāo)簽問題、回歸問題。它用全部的訓(xùn)練樣本進(jìn)行學(xué)習(xí)。
應(yīng)用示例
adaboost 是 bosting 的方法之一，bosting就是把若干個(gè)分類效果并不好的分類器綜合起來考慮，會(huì)得到一個(gè)效果比較好的分類器。
下圖，左右兩個(gè)決策樹，單個(gè)看是效果不怎么好的，但是把同樣的數(shù)據(jù)投入進(jìn)去，把兩個(gè)結(jié)果加起來考慮，就會(huì)增加可信度。
adaboost 的栗子，手寫識(shí)別中，在畫板上可以抓取到很多 features，例如 始點(diǎn)的方向，始點(diǎn)和終點(diǎn)的距離等等。
training 的時(shí)候，會(huì)得到每個(gè) feature 的 weight，例如 2 和 3 的開頭部分很像，這個(gè) feature 對分類起到的作用很小，它的權(quán)重也就會(huì)較小。
而這個(gè) alpha 角 就具有很強(qiáng)的識(shí)別性，這個(gè) feature 的權(quán)重就會(huì)較大，最后的預(yù)測結(jié)果是綜合考慮這些 feature 的結(jié)果。
