一個(gè)關(guān)于Boosting集成學(xué)習(xí)方法代表XGBoot和GBDT不同點(diǎn)的小總結(jié)。
| 比較項(xiàng)目 | GBDT | XGBoost |
|---|---|---|
| 基分類器 | CART樹 | 除了CART，還支持線性分類器 |
| 優(yōu)化過程 | 只用到代價(jià)函數(shù)的一階導(dǎo)數(shù)信息 | 對(duì)代價(jià)函數(shù)進(jìn)行了二階泰勒展開，同時(shí)用到一、二階導(dǎo)數(shù) |
| 代價(jià)函數(shù)的正則化 | 沒有使用到正則項(xiàng) | 可選l1、l2正則化，用于控制模型的復(fù)雜度和防止過擬合 |
| 列抽樣 | 不能使用列抽樣 | 可以像RF一樣支持列抽樣，再次防止過擬合并且訓(xùn)練速度快 |
| 并行處理 | 迭代不支持并行 | 支持特征粒度上的并行 |
綜合來說XGBoost不但在處理速度力壓XGBoost，并且在預(yù)測(cè)精度上也占有絕對(duì)的優(yōu)勢(shì)。
