- ensemble learning 集成學(xué)習(xí)
-
定義：集成學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的示例；多個學(xué)習(xí)者在學(xué)習(xí)解決同一個問題，多個學(xué)習(xí)模型的效果肯定優(yōu)于一個學(xué)習(xí)模型。
image.png
- 集成學(xué)習(xí)的常見類型
- Bagging（Random Forest）：構(gòu)造若干個獨立的模型，然后去所有模型預(yù)測值的平均值
-
Boosting（Gradient boosting， adaboosting）：時序構(gòu)造模型，每一個繼任模型都需要減少之前模型的偏移量。即將若干個弱模型合成，產(chǎn)生一個強(qiáng)有力的集成模型。
image.png
- Bagging
-
思想： 訓(xùn)練集分成若干個子集，針對若干個子集并行進(jìn)行模型訓(xùn)練，對預(yù)測值平均化。
image.png
- Boosting
-
思想：若干個弱模型組成一個強(qiáng)模型，每個模型都依賴于前個模型。
image.png
- Bagging和Boosting區(qū)別
-
三張圖
image.png
image.png
image.png
- AdaBoost
-
定義： 是一種調(diào)整式Boosting方法。
image.png
image.png
