模型的基本原理不在贅述，僅結(jié)合scikit-learn中g(shù)bdt的實(shí)現(xiàn)，理清思路。

1 流程圖

gbdt實(shí)現(xiàn)流程圖.png

1.1 總體迭代過程

_fit_stage.png

2 損失函數(shù)

2.1 GradientBoostingRegressor的損失函數(shù)

sklearn中實(shí)現(xiàn)了四種目標(biāo)函數(shù)：LeastSquaresError，LeastAbsoluteError，HuberLossFunction，QuantileLossFunction。本人只使用過LeastSquaresError，LeastAbsoluteError這兩種，因此僅對這兩種目標(biāo)函數(shù)展開理解。

• LeastSquaresError
  最小均方誤差函數(shù)，形式為：
  
  均方誤差損失函數(shù).png
  
  其對應(yīng)的負(fù)梯度為：
  
  均方誤差損失函數(shù)-負(fù)梯度.png
  
  代碼中的體現(xiàn)為：

image.png

• LeastAbsoluteError
  最小絕對值誤差函數(shù)：形式為：

最小絕對值誤差損失函數(shù).png

image.png

2.2 GradientBoostingClassifier的損失函數(shù)

sklearn中實(shí)現(xiàn)了兩種目標(biāo)函數(shù)：Deviance（二分類問題BinomialDeviance和多分類問題MultinomialDeviance），ExponentialLoss。

• BinomialDeviance損失函數(shù)為：

image.png

負(fù)梯度

image.png

代碼中的體現(xiàn)

binomialDeviance.png

• ExponentialLoss 損失函數(shù)為：

ExponentialLoss 損失函數(shù).png

負(fù)梯度

image.png

代碼中的體現(xiàn)

image.png

實(shí)際上以上兩種損失函數(shù)都是偏差最小化損失函數(shù)，其一般化公式為：

image.png

值得注意的是，在Friedman的論文Greedy Function Approximation A Gradient Boosting Machine 中，描述的目標(biāo)函數(shù)為

negative binomial log-likelihood-Friedman損失函數(shù).png

image.png

2.3 單棵回歸樹

在總體迭代過程一節(jié)我們已經(jīng)看到，每次迭代都會建立一個(gè)回歸樹去擬合負(fù)梯度向量，與建樹相關(guān)的點(diǎn)有：

• 損失函數(shù)
  均方差損失函數(shù)

• 節(jié)點(diǎn)分裂原則：

  
  
  節(jié)點(diǎn)分裂原則.png
  
  

  通常使用的是friedman_mse原則，公式為Greedy Function Approximation: A Gradient Boosting Machine論文中的(35)式:

  
  
  friedman_mse.png
• 葉子節(jié)點(diǎn)的值
  葉子節(jié)點(diǎn)的值為分到該葉子節(jié)點(diǎn)的所有樣本對應(yīng)的輸出yi的平均值。

Refs

• Generalized Boosted Models: A guide to the gbm package
• Greedy Function Approximation: A Gradient Boosting Machine
• Additive Logistic Regression a Statistical View of Boosting.pdf