最近讀了一篇GBDT+LR實現(xiàn)推薦系統(tǒng)的文章，準(zhǔn)備實踐一下，但是所有講這種方式的文章都沒有放數(shù)據(jù)集，所以我從頭開始整理了一遍思路，并且找了Kaggle上一個比賽的數(shù)據(jù)集進(jìn)行實現(xiàn)。
1 背景
CTR預(yù)估是工業(yè)界十分常見的一個問題，Click Through Rate指的是推送給某個顧客的商品是否會被點(diǎn)擊，推送給顧客會最大概率被點(diǎn)擊的商品無疑會提高盈利能力。
在CTR預(yù)估問題的發(fā)展初期，使用最多的方法就是邏輯回歸(LR)，LR使用了Sigmoid變換將函數(shù)值映射到0~1區(qū)間，映射后的函數(shù)值就是CTR的預(yù)估值。
LR屬于線性模型，容易并行化，可以輕松處理上億條數(shù)據(jù)，但是學(xué)習(xí)能力十分有限，需要大量的特征工程來增加模型的學(xué)習(xí)能力。但大量的特征工程耗時耗力同時并不一定會帶來效果提升。因此，如何自動發(fā)現(xiàn)有效的特征、特征組合，彌補(bǔ)人工經(jīng)驗不足，縮短LR特征實驗周期，是亟需解決的問題。
Facebook 2014年的文章介紹了通過GBDT解決LR的特征組合問題，隨后Kaggle競賽也有實踐此思路，GBDT與LR融合開始引起了業(yè)界關(guān)注。
在介紹這個模型之前，我們先來介紹兩個問題：
1）為什么要使用集成的決策樹模型，而不是單棵的決策樹模型：一棵樹的表達(dá)能力很弱，不足以表達(dá)多個有區(qū)分性的特征組合，多棵樹的表達(dá)能力更強(qiáng)一些?？梢愿玫陌l(fā)現(xiàn)有效的特征和特征組合
2）為什么建樹采用GBDT而非RF：RF也是多棵樹，但從效果上有實踐證明不如GBDT。且GBDT前面的樹，特征分裂主要體現(xiàn)對多數(shù)樣本有區(qū)分度的特征；后面的樹，主要體現(xiàn)的是經(jīng)過前N顆樹，殘差仍然較大的少數(shù)樣本。優(yōu)先選用在整體上有區(qū)分度的特征，再選用針對少數(shù)樣本有區(qū)分度的特征，思路更加合理，這應(yīng)該也是用GBDT的原因。
2 GBDT + LR
這兩種方法的融合主要流程如下圖所示
對于輸入的樣本，他的特征是向量 x ，用GBDT的方法構(gòu)造兩顆樹，第 1 棵樹有3個葉子節(jié)點(diǎn)，第二棵樹有兩個葉子節(jié)點(diǎn)。
假設(shè)x 進(jìn)入第1棵樹落入3個葉子節(jié)點(diǎn)中的第1個葉子，進(jìn)入第2棵樹落入2個葉子節(jié)點(diǎn)的第2個葉子，在這里我們構(gòu)造新的特征。第1棵樹有3個葉子，構(gòu)造一個向量U1=[0, 0 ,0]，樣本x落到第1個葉子，把向量U1的第一個位置變?yōu)?，其余位置仍然是0，即U1=[1, 0, 0]。第2棵樹有2個葉子，構(gòu)造向量U2=[0, 0]，樣本x落到第2個葉子，把第二個位置的值變?yōu)?，即U2=[1, 0]。接下來把 U1 和 U2 串聯(lián)起來變?yōu)?[1, 0, 0, 1, 0]。這樣就得到了轉(zhuǎn)化后的特征向量。
接下來就是將轉(zhuǎn)化后的特征向量用LR訓(xùn)練。
3 實踐
在這里用的是 lightgbm 這個包，安裝也很方便，打開conda命令行，conda install lightgbm。
所有要導(dǎo)入的包如下
import lightgbm as lgb
import numpy as np
import pandas as pd
from sklearn import preprocessing
from sklearn.linear_model import LogisticRegression
3.1 數(shù)據(jù)集
這里用到的數(shù)據(jù)集是kaggle:avazu-ctr-prediction，訓(xùn)練集下載下來大概有1.2GB，解壓后6GB，因為電腦內(nèi)存不夠后面訓(xùn)練的過程中出現(xiàn)MemoryError，所以我切分了1w條數(shù)據(jù)，下載鏈接小數(shù)據(jù)集提取碼：6gr9 實現(xiàn)時選擇前8k作為訓(xùn)練集，后2k為測試集。
數(shù)據(jù)集字段：
id: ad identifier
click: 0/1 for non-click/click
hour: format is YYMMDDHH, so 14091123 means 23:00 on Sept. 11, 2014 UTC.
C1 -- anonymized categorical variable
banner_pos
site_id
site_domain
site_category
app_id
app_domain
app_category
device_id
device_ip
device_model
device_type
device_conn_type
C14-C21 -- anonymized categorical variables
因為本文只是做一個demo，所以不進(jìn)行特征工程，只選擇部分屬性
cols = ['C1', 'banner_pos', 'site_domain', .....'app_id', 'C14','C15', 'C16']
- 讀取數(shù)據(jù)集
df_train = pd.read_csv(r"D:\Kaggle_CTR\train.csv")
cols = ['C1','banner_pos', 'site_domain', 'site_id', 'site_category','app_id', 'app_category', 'device_type', 'device_conn_type', 'C14', 'C15','C16']
cols_all = ['id']
cols_all.extend(cols)
#print(df_train.head(10))
y = df['click']
y_train = y.iloc[:-2000] # training label
y_test = y.iloc[-2000:] # testing label
X = df[cols_all[1:]] # training dataset
- pandas讀取的‘site_id'等是object對象，需要將其轉(zhuǎn)化為字符串，進(jìn)而用LabelEncoder轉(zhuǎn)化為類別。
# label encode
lbl = preprocessing.LabelEncoder()
X['site_domain'] = lbl.fit_transform(X['site_domain'].astype(str))#將提示的包含錯誤數(shù)據(jù)類型這一列進(jìn)行轉(zhuǎn)換
X['site_id'] = lbl.fit_transform(X['site_id'].astype(str))
X['site_category'] = lbl.fit_transform(X['site_category'].astype(str))
X['app_id'] = lbl.fit_transform(X['app_id'].astype(str))
X['app_category'] = lbl.fit_transform(X['app_category'].astype(str))
X_train = X.iloc[:-2000]
X_test = X.iloc[-2000:] # testing dataset
3.2 訓(xùn)練LGB
使用lgb時要先將數(shù)據(jù)集轉(zhuǎn)化為lgb的數(shù)據(jù)集，指定好參數(shù)后再進(jìn)行訓(xùn)練。
# create dataset for lightgbm
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)
params = {
'task': 'train',
'boosting_type': 'gbdt',
'objective': 'binary',
'metric': {'binary_logloss'},
'num_leaves': 64,
'num_trees': 100,
'learning_rate': 0.01,
'feature_fraction': 0.9,
'bagging_fraction': 0.8,
'bagging_freq': 5,
'verbose': 0
}
# number of leaves,will be used in feature transformation
num_leaf = 64
print('Start training...')
# train
gbm = lgb.train(params,
lgb_train,
num_boost_round=100,
valid_sets=lgb_train)
訓(xùn)練100輪的結(jié)果是[100] training's binary_logloss: 0.408675。
3.3 用lgb轉(zhuǎn)化特征向量
- 用訓(xùn)練好的lgb模型預(yù)測訓(xùn)練集，觀察其落在哪些葉子節(jié)點(diǎn)上。
y_pred_train = gbm.predict(X_train, pred_leaf=True)
觀察y_pred_train的形狀
In[181]: y_pred_train.shape
Out[181]: (8000, 100)
共有8000個樣本，100棵樹（在上面的參數(shù)中 num_trees=100),觀察第 1 個樣本y_pred_train[0]的前10個值：
In[182]: y_pred_train[0][:10]
Out[182]: array([31, 29, 29, 32, 38, 46, 35, 36, 36, 42])
其中 第一個數(shù) 31 表示這個樣本落到了第一顆樹的 31 葉子節(jié)點(diǎn)，29 表示落到了第二棵樹的 29 葉子節(jié)點(diǎn)，注意31 、29表示節(jié)點(diǎn)編號，從0開始到63。
- 將葉子節(jié)點(diǎn)編號轉(zhuǎn)化為OneHot編碼
# train data
transformed_training_matrix = np.zeros([len(y_pred_train), len(y_pred_train[0]) * num_leaf],dtype=np.int64) # N * num_tress * num_leafs
for i in range(0, len(y_pred_train)):
temp = np.arange(len(y_pred_train[0])) * num_leaf + np.array(y_pred_train[i])
transformed_training_matrix[i][temp] += 1
# test data
transformed_testing_matrix = np.zeros([len(y_pred_test), len(y_pred_test[0]) * num_leaf], dtype=np.int64)
for i in range(0, len(y_pred_test)):
temp = np.arange(len(y_pred_test[0])) * num_leaf + np.array(y_pred_test[i])
transformed_testing_matrix[i][temp] += 1
3.4 LR
lm = LogisticRegression(penalty='l2',C=0.05)
lm.fit(transformed_training_matrix,y_train)
y_pred_lr_test = lm.predict_proba(transformed_testing_matrix)
3.5 結(jié)果評估
在Kaggle指明的評價指標(biāo)是NE(Normalized Cross-Entropy)
NE = (-1) / len(y_pred_lr_test) * sum(((1+y_test)/2 * np.log(y_pred_lr_test[:,1]) + (1-y_test)/2 * np.log(1 - y_pred_lr_test[:,1])))
print("Normalized Cross Entropy " + str(NE))
在我這里計算出來的的NE結(jié)果是1.27958508822，這其實是一個很差的結(jié)果，在比賽上想取得好成績最重要的就是特征工程，即組合原始特征、計算新特征等工作，特征工程決定算法結(jié)果的上界。
4 總結(jié)
GBDT+LR只是對歷史的記憶，并不是真正適合現(xiàn)在的大多數(shù)業(yè)務(wù)數(shù)據(jù)，現(xiàn)在的業(yè)務(wù)數(shù)據(jù)是大量離散特征導(dǎo)致的高維度離散數(shù)據(jù)。而樹模型對這樣的離散特征，是不能很好處理的，因為這容易導(dǎo)致過擬合。
代碼下載：鏈接 提取碼：1nh2
寫作本文是為了整理GBDT+LR的思路和工程實現(xiàn)，主要工作都是來自 石曉文的學(xué)習(xí)日記，在他的博客里有很多推薦系統(tǒng)不同實現(xiàn)方式的文章。
參考資料：推薦系統(tǒng)遇上深度學(xué)習(xí)(十)--GBDT+LR融合方案實戰(zhàn)
