一. 集成算法簡介
下圖是一個集成算法的圖解:
y = wx +b
第一個樹用來求權(quán)重值w
第二個樹用來求截距 b
多個樹結(jié)合在一起，模型整體的實(shí)用性更佳。
image.png
二. Xgboost集成算法簡介
下圖是集成算法的公式:
image.png
目標(biāo)函數(shù)：
image.png
如何最優(yōu)函數(shù)解？
image.png
集成算法的表示：
image.png
image.png
現(xiàn)在還剩下一個問題，我們?nèi)绾芜x擇每一輪加入什么f呢？答案是非常直接的，選取一個f來使得我們的目標(biāo)函數(shù)盡量最大地降低
image.png
image.png
image.png
image.png
通過公式，將樣本上遍歷轉(zhuǎn)換為在葉子節(jié)點(diǎn)上遍歷
image.png
image.png
image.png
三. 圖解Xgboost算法
image.png
image.png
image.png
image.png
