GBDT和XGboost本質(zhì)上都是前向分布求和算法，如果是回歸問題，那么loss常用的是平方差，如果是分類問題，loss常用的是最大似然估計或者交叉熵，求和算法的含義是，整個預(yù)測函數(shù)可以通過多個若分類器組合而成，這里有幾個要點需要關(guān)注，第一，在構(gòu)建樹的過程中，每一步分裂點的選擇，目標(biāo)都是促進(jìn)使loss下降最大，第二，初始情況下，和函數(shù)只有一個初始的分類器本身，因此，找到使loss最小的預(yù)測值即為初始值，回歸問題在使用平方差時，該值即為均值，分類問題使用交叉熵作為loss時，初始值為概率的大的類別對應(yīng)的概率值，第三，當(dāng)一棵樹構(gòu)建完成時，葉子節(jié)點的值即為該棵樹對應(yīng)函數(shù)的輸出，可通過分別對每個葉子節(jié)點對應(yīng)的特征空間求loss的最小值獲取，第四，每棵樹采用擬合梯度的方式進(jìn)行生長的原因是，整個分類器是通過不斷添加弱分類器求得的，每個弱分類器由于擬合的是梯度，因此加上原來的預(yù)測函數(shù)即相當(dāng)于使用梯度下降，不斷逼近loss極小值，