從泰勒公式說起

泰勒公式的作用.png

• 泰勒公式損失函數(shù)存在二階導數(shù)的時候，可以提供參數(shù)下降的方向

  
  
  梯度下降法的泰勒展開理解.png

• 為什么選擇負梯度方向的原因通過泰勒的方式解釋一下

  
  
  牛頓下降法原理.png

• 使用牛頓下降法來逼近誤差的方法，需要二階可導

  
  
  引入函數(shù)空間這個概念.png

• 引入函數(shù)空間，通過類比的方法來構造新的子樹。就是一個更新迭代的一堆樹。通過引入一顆新的樹來減小誤差。

  
  
  boosting.png
• boosting的思想很牛逼，但其實就是一種參數(shù)更新的思路，但是這個參數(shù)是一個子樹。通過生成一顆子樹疊加到之前的子樹上來減小損失函數(shù)。

• 基分類器是回歸樹有很多優(yōu)點：
  1.解釋性強
  2.處理混合特征
  3.伸縮不變性（這個不怎么理解）
  4.對異常點具有非常好的魯棒性
  5.。。。。
  總之，就是解釋能力比較好

  
  
  BOOST Decision Tree.png
• 首先類似于梯度下降，也有一個學習率

• 同時求解方法是貪心的

  
  
  利用梯度產(chǎn)生子樹.png
  
  
  xgboost.png

• 算法上最大的特點
  1.通過二階導來選擇更新方向
  2.加入正則項來對構建的樹，加入貝葉斯先驗。L2正則意味著：先驗高斯分布，
  L1正則：瑞斯分布

  
  
  需要最小化的目標函數(shù).png
  
  
  image.png

• 正則化的先驗解釋

  
  
  誤差函數(shù).png
  
  
  一些列的變換.png
  
  
  變換2.png
  
  
  節(jié)點數(shù)值.png

• 得出了樹的子葉節(jié)點的合理的權值，同時，也得出了正確的損失函數(shù)。關于第t顆樹的。

  
  
  建樹.png

• 傳統(tǒng)的方法都是先建樹，在加入正則剪枝。

  
  
  建樹_xgboost.png
• 這種建樹的方式考慮了正則化。