在講如何通過樹模型做特征工程之前，首先讓我們回顧一下一個機(jī)器學(xué)習(xí)（除去深度學(xué)習(xí)項目部分）項目的大致流程：

• 從業(yè)務(wù)場景中抽象出問題——分類問題，回歸問題，還是聚類問題等，
• 接下來是數(shù)據(jù)獲取，數(shù)據(jù)清洗，探索性數(shù)據(jù)分析(EDA)等數(shù)據(jù)預(yù)處理方面的工作，
• 然后就是特征工程（Feature Engineering），這部分需要人工對數(shù)據(jù)進(jìn)行理解，采取一些手動或者自動的方法，挖掘出重要的特征或者一些有聯(lián)系的組合特征，這一步在機(jī)器學(xué)習(xí)項目中極其關(guān)鍵，
• 選擇和應(yīng)用場景以及數(shù)據(jù)類型相符合的機(jī)器學(xué)習(xí)模型，調(diào)參數(shù)，模型融合，提升模型性能效果。
• 上線，同時監(jiān)測模型線上效果，并不斷優(yōu)化模型。

好的特征工程意味著一個機(jī)器學(xué)習(xí)項目成功了一大半，筆者曾經(jīng)參加過一些網(wǎng)上的數(shù)據(jù)分類大賽，比賽群里天天討論的就是如何發(fā)現(xiàn)"強(qiáng)特"（很強(qiáng)的特征），而且最終成績好的參賽選手都是根據(jù)業(yè)務(wù)場景抽取出了很多重要的特征或者特征組合。

GBDT + LR 原理部分

今天筆者并不會介紹如何去在某個數(shù)據(jù)中發(fā)現(xiàn)"強(qiáng)特"，而是介紹一種偷懶的方式，采用樹模型幫助我們做特征工程。而這種思想是在2014年有facebook提出，當(dāng)時主要是為了解決廣告預(yù)估問題(CTR),論文名為Practical Lessons from Predicting Clicks on Ads atFacebook，主要內(nèi)容就是：

• 1. 將原始的數(shù)據(jù)通過梯度提升樹（GBDT）進(jìn)行擬合，然后就可以得到一顆已經(jīng)非常了解樣本數(shù)據(jù)的樹。
• 2.然后再將訓(xùn)練數(shù)據(jù)通過（GBDT），這樣每一個數(shù)據(jù)輸入書模型會得到一些葉子節(jié)點，如下圖所示，這顆樹有5個葉子節(jié)點，這樣就可以構(gòu)建一個5維的向量[0,0,0,0,0]，葉子節(jié)點有值的地方為1，這樣就可以得到一個5維transformed的特征。

• 3.再將樹模型的葉子節(jié)點特征輸入給Logistics Regression算法。

  
  
  GBDT+LR
  
  

  當(dāng)然你也可以將樹模型葉子節(jié)點的特征和原始數(shù)據(jù)的特征進(jìn)行拼接后再喂給后續(xù)的Logistics Regression算法。
  而這種算法架構(gòu)以下兩點優(yōu)勢：

• 樹模型葉節(jié)點出來的特征，有點類似于神經(jīng)網(wǎng)絡(luò)對特征做了一些非線性變換，
• 樹模型能夠幫助我們挖掘一些重要特征，以及重要的特征組合，大家可以試想一下，樹模型上到葉節(jié)點的每一條路徑就是一種特征組合。

一句話解釋就是，樹模型幫我們做了特征的非線性變換+特征組合。

實戰(zhàn)部分

數(shù)據(jù)準(zhǔn)備

載入必要的python包。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.ensemble import GradientBoostingClassifier as GBDT
from sklearn.ensemble import RandomForestClassifier as RF
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score

首先隨機(jī)生成8000個數(shù)據(jù)，這里我們將數(shù)據(jù)分層三份：

• 一份用于訓(xùn)練挖掘特征的樹模型（X_train,y_train），
• 一份用于訓(xùn)練LR(X_train_lr,y_train_lr)，
• 一份用于做測試(X_test,y_test)。

x,y = make_classification(n_samples=8000)
X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.5)
X_train, X_train_lr, y_train, y_train_lr = train_test_split(X_train, y_train, test_size=0.5)

接下來筆者做了四個實驗，分別是：

• 只使用隨機(jī)森林葉節(jié)點特征訓(xùn)練LR，
• 使用隨機(jī)森林葉節(jié)點特征和原始特征拼接訓(xùn)練LR，
• 只使用GBDT葉節(jié)點特征訓(xùn)練LR，
• 使用GBDT葉節(jié)點特征和原始特征拼接訓(xùn)練LR。

隨機(jī)森林 + LR

構(gòu)造隨機(jī)森林樹模型，并訓(xùn)練樹模型:

rf = RF(n_estimators=10,max_depth=3)
rf.fit(X_train,y_train)

使用訓(xùn)練好的樹模型構(gòu)造特征，使用RandomForestClassifier自帶的apply接口可以很輕松的拿到葉子節(jié)點的ID，然后通過OneHotEncoder對葉子節(jié)點的ID進(jìn)行onehot編碼就可以構(gòu)造出葉子節(jié)點特征了。

print("原始特征的形狀",X_train_lr.shape)
rf_enc = OneHotEncoder()
rf_feature_leaf = rf.apply(X_train_lr)
rf_onehot_encode = rf_enc.fit(rf_feature_leaf)
rf_onehot_feature = rf_onehot_encode.transform(rf_feature_leaf)
rf_onehot_feature = rf_onehot_feature.toarray()
print("隨機(jī)森林葉子特征的形狀：",rf_onehot_feature.shape)
rf_final_fea = np.hstack([rf_onehot_feature,X_train_lr])
print("特征拼接后的形狀：",rf_final_fea.shape)

從下圖我們可以得知，從隨機(jī)森林葉節(jié)點出來的是一個77維的特征。

image.png

只使用隨機(jī)森林葉節(jié)點特征(rf_encode+lr)

這里訓(xùn)練LR時只使用77維的隨機(jī)森林的葉子節(jié)點特征。

lr = LogisticRegression()
lr.fit(rf_onehot_feature,y_train_lr)

將測試數(shù)據(jù)轉(zhuǎn)化為葉節(jié)點特征，然后進(jìn)行模型測試，輸出AUC得分。

rf_onehot_fea_test = rf_onehot_encode.transform(rf.apply(X_test))
rf_onehot_fea_test = rf_onehot_fea_test.toarray()
pred_y = lr.predict_proba(rf_onehot_fea_test)[:,1]
roc_auc_score(y_test,pred_y)

隨機(jī)森林葉節(jié)點特征和原始特征拼接(rf_encode+origin_feature+lr)

這一步訓(xùn)練LR使用的是一個97維的特征，由77維的葉子節(jié)點特征和原始的20維的特征拼接形成。

lr_1 = LogisticRegression()
lr_1.fit(rf_final_fea,y_train_lr)

將測試數(shù)據(jù)轉(zhuǎn)化為97維的特征，然后進(jìn)行模型測試，輸出AUC得分。

rf_onehot_fea_test = rf_onehot_encode.transform(rf.apply(X_test))
rf_onehot_fea_test = rf_onehot_fea_test.toarray()
final_test = np.hstack([rf_onehot_fea_test,X_test])
pred_y = lr_1.predict_proba(final_test)[:,1]
roc_auc_score(y_test,pred_y)

梯度提升樹 + LR

構(gòu)造梯度提升樹模型，并訓(xùn)練樹模型:

gbdt = GBDT(n_estimators=10)
gbdt.fit(X_train,y_train)

使用訓(xùn)練好的樹模型構(gòu)造特征：

print("原始特征的形狀:",X_train_lr.shape)
gbdt_enc = OneHotEncoder()
gbdt_feature_leaf = gbdt.apply(X_train_lr)[:,:,0]
gbdt_onehot_encode = gbdt_enc.fit(gbdt_feature_leaf)
gbdt_onehot_feature = gbdt_onehot_encode.transform(gbdt_feature_leaf)
gbdt_onehot_feature = gbdt_onehot_feature.toarray()
print("梯度提升樹的葉子特征形狀：",gbdt_onehot_feature.shape)
gbdt_final_fea = np.hstack([gbdt_onehot_feature,X_train_lr])
print("特征拼接后的形狀：",gbdt_final_fea.shape)

從下圖我們可以得知，從GBDT葉節(jié)點出來的是一個72維的特征。

image.png

只使用GBDT葉節(jié)點特征(gbdt_encode+lr)

只使用72維的GBDT葉子節(jié)點特征訓(xùn)練LR。

lr_2 = LogisticRegression()
lr_2.fit(gbdt_onehot_feature,y_train_lr)

將測試數(shù)據(jù)轉(zhuǎn)化為72維的葉節(jié)點特征，然后進(jìn)行模型測試，輸出AUC得分。

gbdt_onehot_fea_test = gbdt_onehot_encode.transform(gbdt.apply(X_test)[:,:,0])
gbdt_onehot_fea_test = gbdt_onehot_fea_test.toarray()
pred_y = lr_2.predict_proba(gbdt_onehot_fea_test)[:,1]
roc_auc_score(y_test,pred_y)

GBDT葉節(jié)點特征和原始特征拼接(gbdt_encode+origin_feature+lr)

使用的是一個92維的拼接特征訓(xùn)練LR。

lr_3 = LogisticRegression()
lr_3.fit(gbdt_final_fea ,y_train_lr)

將測試數(shù)據(jù)轉(zhuǎn)化為92維的拼接特征，然后進(jìn)行模型測試，輸出AUC得分。

gbdt_final_test = np.hstack([gbdt_onehot_fea_test,X_test])
pred_y = lr_3.predict_proba(gbdt_final_test)[:,1]
roc_auc_score(y_test,pred_y)

實驗結(jié)果

筆者也做了最原始特征直接訓(xùn)練LR模型的實驗，經(jīng)過多次重復(fù)實驗之后，最終性能的對比如下圖所示：

實驗結(jié)果

而這個實驗結(jié)果表明：

• 樹模型葉節(jié)點特征確實比原始特征要好，
• 葉子節(jié)點和原始特征拼接后的組合特征有著最好的表現(xiàn)，
• GBDT的葉子節(jié)點特征要強(qiáng)于隨機(jī)森林葉節(jié)點特征。

結(jié)語：

特征工程是一門很深的學(xué)問，我們通過上述實驗學(xué)習(xí)到如何通過樹模型去自動幫我們做特征工程，但是必須注意的樹模型的特征遠(yuǎn)遠(yuǎn)達(dá)不到神經(jīng)網(wǎng)絡(luò)自動提取特征那樣功效，所以樹模型葉節(jié)點的特征還是屬于特征工程的范疇，如果你做機(jī)器學(xué)習(xí)項目時不知道如何尋找特征，試試使用樹模型（GBDT，Xgboost，RandomForest等）幫你構(gòu)造特征吧。

參考文獻(xiàn)

Practical Lessons from Predicting Clicks on Ads atFacebook