推薦質(zhì)量評價指標(biāo)

Precision & Recall & F1-Measure

內(nèi)容過于基礎(chǔ)，在此不作詳細(xì)描述。如有興趣，請參考以下鏈接:

準(zhǔn)確率(Accuracy), 精確率(Precision), 召回率(Recall)和F1-Measure
Precision and Recall - Wikipedia

RMSE

均方誤差(Root Mean Square Error, RMSE), 其計算公式如下:
$RMSE = \sqrt{\frac{1}{m}\sum_{i=1}^m{(y_i - \hat{y_i})^2}}$

MAP

平均正確率均值(Mean Average Precision, MAP)
其中 $AP$ 的計算方法如下：
$\operatorname{AveP} = \frac{\sum_{k=1}^n (P(k) \times \operatorname{rel}(k))}{\mbox{# of relevant documents}} \!$
其中， $k$ 為檢索結(jié)果隊列中的排序位置， $P(k)$ 為前 $k$ 個結(jié)果的準(zhǔn)確率， $rel(k)$ 表示位置 $k$ 的文檔是否相關(guān)，相關(guān)為 $1$ ，不相關(guān)為 $0$ 。

$MAP$ 即是將多個 $query$ 對應(yīng)的 $AP$ 求平均:
$\operatorname{MAP} = \frac{\sum_{q=1}^Q \operatorname{AveP(q)}}{Q} \!$
$Q$ 為 $query$ 的數(shù)量。

NDCG

CG

$CG$ （cumulative gain，累計增益）可以用于評價基于打分/評分的個性推薦系統(tǒng)。假設(shè)我們推薦 $k$ 個物品, 這個推薦列表的 $CG_k$ 計算公式如下:
$CG_k=\sum_{i=1}^k \text{rel}_i$
$\text{rel}_i$ 表示第 $k$ 個物品的相關(guān)性或者評分。假設(shè)我們共推薦 $k$ 個電影， $\text{rel}_i$ 可以是用戶對第i部電影的評分。

比如豆瓣給用戶推薦了五部電影:
$M_1, M_2, M_3, M_4, M_5$
該用戶對這五部電影的評分分別是:
$5, 3, 2, 1, 2$
那么這個推薦列表的 $CG$ 等于
$CG_5=5+3+2+1+2=13$

DCG

$CG$ 沒有考慮推薦的次序，在此基礎(chǔ)之后我們引入對物品順序的考慮, 就有了 $DCG$ (Discounted CG), 折扣累積增益。公式如下:
$DCG_k=\sum_{i=1}^k \frac{2^{\text{rel}_i}-1}{\log_2(i+1)}$
上例中推薦列表的 $DCG$ 等于:
$DCG_5=\frac{2^5-1}{\log_2 2}+\frac{2^3-1}{\log_2 3}+\frac{2^2-1}{\log_2 4}+\frac{2^1-1}{\log_2 5}+\frac{2^2-1}{\log_2 6}=31+4.4+1.5+0.4+1.2=38.5$

NDCG

$DCG$ 沒有考慮到推薦列表和每個檢索中真正有效結(jié)果個數(shù), 所以最后我們引入 $NDCG$ (Normalized discounted CG), 顧名思義就是標(biāo)準(zhǔn)化之后的 $DCG$ 。
$NDCG_k=\frac{DCG_k}{IDCG_k}$
其中IDCG是指 $Ideal \, DCG$ ，也就是完美結(jié)果下的 $DCG$ 。
繼續(xù)上面的例子, 如果相關(guān)電影一共有7部:
$M_1, M_2, M_3, M_4, M_5, M_6, M_7$
該用戶對這七部電影的評分分別是:
$5, 3, 2, 1, 2 , 4, 0$
把這 7 部電影按評分排序
5, 4, 3, 2, 2, 1, 0
這個情況下的完美 $DCG$ 是
$IDCG_5=\frac{2^5-1}{\log_2 2}+\frac{2^4-1}{\log_2 3}+\frac{2^3-1}{\log_2 4}+\frac{2^2-1}{\log_2 5}+\frac{2^2-1}{\log_2 6}=31+9.5+3.5+1.3+1.2=46.5$
所以
$NDCG_5 = \frac{DCG_5}{IDCG_5}=\frac{38.5}{46.5}=0.827$
$NDCG$ 是 $0$ 到 $1$ 的數(shù)，越接近 $1$ 說明推薦越準(zhǔn)確。
NDCG提供了一種計算方式，當(dāng)我們有其他排名類似的需求的時候， $NDCG$ 都是值得參考的，其 $Gain$ 以及 $Discounted$ 的計算的變化可以產(chǎn)生很多其他有價值的評價指標(biāo)。

MRR

平均倒數(shù)排名(Mean Reciprocal Rank, MRR), 是統(tǒng)計學(xué)中，依據(jù)排序的正確性，對查詢請求響應(yīng)結(jié)果的評估。查詢響應(yīng)結(jié)果的倒數(shù)排名是第一個正確答案的倒數(shù)積。平均倒數(shù)排名是多個查詢結(jié)果的平均值。
${\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank}}_{i}}}.\!$
平均倒數(shù)排名的倒數(shù)正好表示所有排名的調(diào)和平均值。

備注

如果所有結(jié)果都不正確，結(jié)果為 $0$
如果存在多個正確答案，考慮使用平均準(zhǔn)確度 ( $MAP$ )

參考文獻(xiàn)

Evaluation_measures_(information_retrieval)
平均倒數(shù)排名
信息檢索中的評價指標(biāo)MAP和NDCG
怎么理解推薦系統(tǒng)中的NDCG？

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

推薦質(zhì)量評價指標(biāo)