前言

最近在做搜索排序的一個項目，要使用到排序算法，因此對learning to rank做了一番調研。Learning to rank分為三大類：pointwise，pairwise，listwise。其中pointwise和pairwise相較于listwise還是有很大區(qū)別的，如果用xgboost實現(xiàn)learning to rank 算法，那么區(qū)別體現(xiàn)在listwise需要多一個queryID來區(qū)別每個query，并且要setgroup來分組。而pointwise和pairwise則不用那么麻煩，直接傳入類似于分類或者回歸的特征即可，只需要把objective參數(shù)設置為rank:pairwise即可用xgboost來實現(xiàn)了。

xgboost實現(xiàn)pairwise算法

下面是實現(xiàn)的代碼：

import xgboost as xgb
model = xgb.sklearn.XGBClassifier(
    nthread=20,
    learn_rate=0.1,
    max_depth=15,
    min_child_weight=2,
    subsample=0.8,
    colsample_bytree=1,
    objective='rank:pairwise',
    n_estimators=300,
    gamma=0,
    reg_alpha=0,
    reg_lambda=1,
    max_delta_step=0,
    scale_pos_weight=1
)
watchlist = [(X_train, y_train), (X_test, y_test)]
model.fit(X_train, y_train, eval_set=watchlist, eval_metric='ndcg', early_stopping_rounds=10)

其中XGBClassifier也可以換成XGBRegressor，它倆都能實現(xiàn)pairwise，區(qū)別就是之后預測的時候要選擇的預測函數(shù)不同，XGBClassifier要選擇predict_proba，根據(jù)得到的概率來排序，而XGBRegressor直接使用predict即可得到分數(shù)來排序。還有就是優(yōu)化的是ndcg(當然也可以是ndcg@k，ndcg-，map，map@k)。xgboost簡直是神器，排序問題也可以輕松解決。

調參

模型訓練完成之后，接下來就是算法工程師最重要的工作了：調參?。?！。
調參呢，可以考慮使用sklearn中集成的GridsSearchCV或者是RandomizedSearchCV。這兩種方法的區(qū)別前者是在給定的參數(shù)范圍內窮舉所有情況，后者是在參數(shù)范圍內隨機挑選參數(shù)，這一點前人已經(jīng)講的很多了，在這里就不再贅述了。還有一點就是效率問題，如果數(shù)據(jù)集稍大一些，那么絕對不要用GridSearchCV，慢的要死人的，RandomizedSearchCV則快很多，而且效果基本差不多。
下面是調參的代碼實現(xiàn)：

from sklearn.metrics import make_scorer

def _to_list(x):
    if isinstance(x, list):
        return x
    return [x]

def ndcg(y_true, y_pred, k=20, rel_threshold=0):
    if k <= 0:
        return 0
    y_true = _to_list(np.squeeze(y_true).tolist())
    y_pred = _to_list(np.squeeze(y_pred).tolist())
    c = list(zip(y_true, y_pred))
    random.shuffle(c)
    c_g = sorted(c, key=lambda x: x[0], reverse=True)
    c_p = sorted(c, key=lambda x: x[1], reverse=True)
    idcg = 0
    ndcg = 0
    for i, (g, p) in enumerate(c_g):
        if i >= k:
            break
        if g > rel_threshold:
            idcg += (math.pow(2, g) - 1) / math.log(2 + i)
    for i, (g, p) in enumerate(c_p):
        if i >= k:
            break
        if g > rel_threshold:
            ndcg += (math.pow(2, g) - 1) / math.log(2 + i)
    if idcg == 0:
        return 0
    else:
        return ndcg / idcg

ndcg_score = make_scorer(ndcg)
parameters = {
    'max_depth': [4, 6, 8, 10, 15],
    'learn_rate': [0.01, 0.02, 0.05, 0.1, 0.15],
    'n_estimators': [100, 300, 500, 1000],
    'min_child_weight': [0, 2, 5, 10, 20],
    'subsample': [0.6, 0.7, 0.8, 0.85, 0.95],
    'colsample_bytree': [0.5, 0.6, 0.7, 0.8, 0.9]
}
model = xgb.sklearn.XGBClassifier(
    nthread=20,
    silent=False,
    learn_rate=0.1,
    max_depth=6,
    min_child_weight=3,
    subsample=0.7,
    colsample_bytree=0.7,
    objective='binary:logistic',
    n_estimators=10
)
gsearch = RandomizedSearchCV(model, param_distributions=parameters, scoring=ndcg_score, cv=3)
print('gridsearchcv fit begin...')
gsearch.fit(X_train, y_train)
print('Best score: {}'.format(gsearch.best_score_))
print('Best parameters set: {}'.format(gsearch.best_estimator_.get_params()))

其中有三個要注意的點。第一，注意到RandomizedSearchCV的scoring參數(shù)使用的是自定義的ndcg函數(shù)，從sklearn文檔中查到0.20.0版本中封裝了ndcg函數(shù)，但是我用的時候報錯，只好自定義了ndcg函數(shù)（大家也可以自定義其他的函數(shù)）；第二，我調參的時候只選了幾個較為重要的參數(shù)進行了調整，這個還看大家自己選擇；第三，nthread參數(shù)最好不要選擇默認值，因為默認使用全部的核，這樣極其耗費CPU，能把CPU資源占滿，如果調參是在公司的服務器上，嗯。。。，這樣就比較危險了。調參完畢后會打印出最優(yōu)的參數(shù)，然后用這些最優(yōu)參數(shù)就可以訓練得到一個效果相對較好的模型啦。

寫在最后

在用xgboost的pairwise方法實現(xiàn)排序的時候，我在想能不能用xgboost的分類模型解決排序算法呢，因為二分類的predict_proba函數(shù)會輸出樣本分別為正或者負的概率，根據(jù)是正樣本的概率也可以完成排序呀，過兩天會在線上做下ABtest，結果出來之后再來給出結論。