XGBoost是一種基于決策樹（CART）的分布式的高效的梯度提升算法，它可被應(yīng)用到分類、回歸、排序等任務(wù)中，與一般的GBDT算法相比，XGBoost主要有以下幾個優(yōu)點：
- 對葉節(jié)點的權(quán)重進(jìn)行了懲罰，相當(dāng)于添加了正則項，防止過擬合
- XGBoost的目標(biāo)函數(shù)優(yōu)化利用了損失函數(shù)關(guān)于待求函數(shù)的二階導(dǎo)數(shù)，而GBDT只利用了一階信息
- XGBoost支持列采樣，類似于隨機(jī)森林，構(gòu)建每棵樹時對屬性進(jìn)行采樣，訓(xùn)練速度快，效果好
- 類似于學(xué)習(xí)率，學(xué)習(xí)到一棵樹后，對其權(quán)重進(jìn)行縮減，從而降低該棵樹的作用，提升可學(xué)習(xí)空間
- 構(gòu)建樹的算法包括精確的算法和近似的算法，近似的算法對每維特征加權(quán)分位進(jìn)行分桶，具體的算法利用到了損失函數(shù)關(guān)于待求樹的二階導(dǎo)數(shù)。
- 添加了對于稀疏數(shù)據(jù)的支持，當(dāng)數(shù)據(jù)的某個特征缺失時，將該數(shù)據(jù)劃分到默認(rèn)的子節(jié)點，本文提出了一個算法來求解這個默認(rèn)方向。
- 可并行的近似直方圖算法，分裂節(jié)點時，數(shù)據(jù)在block中按列存放，而且已經(jīng)經(jīng)過了預(yù)排序，因此可以并行計算，即同時對各個屬性遍歷最優(yōu)分裂點
那么如何在mac下安裝xgboost呢
系統(tǒng)版本
macOS Sierra 版本 10.12.3
有兩種方法：
1. pip安裝
- 第一步：安裝HomeBrew
HomeBrew是mac系統(tǒng)的包管理軟件，類似于ubuntu的apt-get或者centos的yum，安裝方法如下，在終端中輸入：
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
- 第二步：安裝livm
brew install llvm
llvm是Mac下的一個編譯器,可以用來編譯C和C++程序.最新的llvm已經(jīng)包含了OpenMP.
注意, Mac下的XCode帶有clang編譯器, 但是是不支持OpenMP的,所以不能用來編譯XGBoost.
- 第三步：安裝clang-omp
brew install clang-omp
有人提到clang-omp已經(jīng)從HomeBrew移除了, 如果找不到clang-omp可以嘗試
brew install --with-clang llvm
- 第四步, 用pip安裝XGBoost
pip install xgboost
大功告成！
2. 從Github庫下載最新版XGBoost安裝
- 第一步：克隆最新的XGBoost到本地
git clone --recursive https://github.com/dmlc/xgboost
- 第二步：安裝gcc
brew install gcc5 --without-multilib
- 第三步：修改XGBoost的config文件
cd xgboost
cp make/config.mk ./config.mk
很多攻略都是直接將以下這兩行
# export CC = gcc
# export CXX = g++
改為：
export CC = gcc-5
export CXX = g++-5
但是我直接這樣做卻一直報錯，無法編譯通過。搞了半天才發(fā)現(xiàn)系統(tǒng)找不到gcc,原來是macOS已經(jīng)不自帶gcc環(huán)境了，通過Homebrew安裝系統(tǒng)也識別不到。
正常情況下是可以通過port來查看系統(tǒng)里安裝的gcc的：
安裝gcc_select
/opt/local/bin/port install gcc_select
查看gcc列表
port select --list gcc
還可以選擇gcc的版本
sudo port select --set gcc mp-gcc5
但是很不幸，我執(zhí)行port select --list gcc得到的結(jié)果是
Available versions for gcc:
none (active)
但是明明Homebrew安裝成功了啊，于是到Homebrew的安裝目錄下瞧一瞧：cd /usr/local/bin，發(fā)現(xiàn)里面靜靜躺著gcc5,gcc7，系統(tǒng)就是無法識別這里的gcc。。。搜了半天沒找到解決方案，最后，機(jī)智的我直接把config.mk修改成：
export CC = /usr/local/bin/gcc-5
export CXX = /usr/local/bin/g++-5
export MPICXX = /usr/local/bin/mpicxx
就是帶上具體的路徑，然后保存
- 第四步：開始編譯
make clean_all && make -j4
- 第五步：安裝python包
cd python-package
python setup.py install
至些XGBoost終于安裝成功！
在python環(huán)境中測試一下：
import xgboost
xgboost.__version__
輸出'0.6'
