@[toc](推薦系統(tǒng)實(shí)戰(zhàn)第01課推薦系統(tǒng)簡(jiǎn)介)

推薦系統(tǒng)評(píng)估

在這里插入圖片描述

一、評(píng)估指標(biāo)

?準(zhǔn)確性 ?滿意度 ?覆蓋率 ?多樣性 ?新穎性 ?驚喜度
?信任度 ?實(shí)時(shí)性 ?魯棒性 ?可擴(kuò)展性 ?商業(yè)?標(biāo) ??戶留存

用戶的偏好的顯示反饋和隱式反饋（Explicit vs Implicit）

在這里插入圖片描述

1、準(zhǔn)確性

**①準(zhǔn)確性（學(xué)術(shù)界） **

評(píng)分預(yù)測(cè)：

打分系統(tǒng) 設(shè) $r_{u i}$ 為用戶u對(duì)物品i的實(shí)際評(píng)分， $\hat{r}_{u i}$ 為預(yù)測(cè)分，則有如下誤差判定標(biāo)準(zhǔn)

均方根誤差

$\mathrm{RMSE}=\sqrt{\frac{\sum_{u, \mathrm{i} \in T}\left(r_{ui}-\hat{r}_{u i}\right)^{2}}{|T|}}$

平均絕對(duì)誤差

$\mathrm{MAE}=\frac{\sum_{u, i \in T}\left|r_{u i}-\hat{r}_{u i}\right|}{|T|}$
topN推薦

設(shè)R(u)為根據(jù)訓(xùn)練建立的模型在測(cè)試集上的推薦， T(u)為測(cè)試集上用戶的選擇

準(zhǔn)確率 vs 召回率

$\operatorname{Recall}=\frac{\sum_{u \in U}|R(u) \cap T(u)|}{\sum_{u \in U}|R(u)|}$

$\operatorname{Recall}=\frac{\sum_{u \in U}|R(u) \cap T(u)|}{\sum_{u \in U}|T(u)|}$

②準(zhǔn)確性（?業(yè)界）

在這里插入圖片描述

2、覆蓋度

1、覆蓋率
$Coverage=\frac{\left|\bigcup_{u \in U} R(u)\right|}{|I|}$

在這里插入圖片描述

2、信息熵

衡量一個(gè)事件的不確定性的。候選的越多，說(shuō)明不確定性越強(qiáng)。
$H=-\sum_{i=1}^{n} p(i) \log p(i)$

在這里插入圖片描述

當(dāng)信息熵越大，推薦的越是均勻，照顧的長(zhǎng)尾越大的。

3、基尼系數(shù)

衡量財(cái)產(chǎn)分配平穩(wěn)程度的指標(biāo)（判斷分配平等程度的指標(biāo)）。

設(shè)實(shí)際收入分配曲線和收入分配絕對(duì)平等曲線之間的面積為A，實(shí)際收入分配曲線右下方的面積為B。并以A除以（A+B）的商表示不平等程度。

$G=\frac{1}{n-1} \sum_{j=1}^{n}(2 j-n-1) p\left(i_{j}\right)$

$p\left(i_{j}\right)表示通過(guò)流行度排序第j小的商品出現(xiàn)的次數(shù)的概率。$

在這里插入圖片描述

4、分層流量占比

3、多樣性

優(yōu)秀的推薦系統(tǒng)能保證推薦結(jié)果列表中物品的豐富性（兩兩之間的差異性）。
設(shè)s(i,j)表示物品i 和 j之間的相似度，多樣性表示如下：
$Diversity(R(u))=1-\frac{\sum_{i, j \in R(u), i \neq j} s(i, j)}{\frac{1}{2}|R(u)|(|R(u)|-1)}$

$Diversity=\frac{1}{|U|} \sum_{u \in U} \text {Diversity}(R(u))$

多樣性&新穎性&驚喜性

多樣性：推薦列表中兩兩物品的不相似性。（相似性如何度量？）
新穎性：未曾關(guān)注的類別、作者；推薦結(jié)果的平均流?度
驚喜性：歷史不相似（驚）但很滿意（喜）
信任度：提供可靠的推薦理由
實(shí)時(shí)性：實(shí)時(shí)更新程度

往往需要犧牲準(zhǔn)確性

使?歷史?為預(yù)測(cè)?戶對(duì)某個(gè)物品的喜愛(ài)程度
系統(tǒng)過(guò)度強(qiáng)調(diào)實(shí)時(shí)性

4、Exploitation & Exploration (開(kāi)發(fā)與探索)

什么是Bandit算法（為選擇而生）

我們會(huì)遇到很多選擇的場(chǎng)景。上哪個(gè)大學(xué)，學(xué)什么專業(yè)，去哪家公司，中午吃什么等等。這些事情，都讓選擇困難癥的我們頭很大。那么，有算法能夠很好地對(duì)付這些問(wèn)題嗎？

當(dāng)然有！那就是Bandit算法。

Bandit算法來(lái)源于歷史悠久的賭博學(xué)，它要解決的問(wèn)題是這樣的[1]：

一個(gè)賭徒，要去搖老虎機(jī)，走進(jìn)賭場(chǎng)一看，一排老虎機(jī)，外表一模一樣，但是每個(gè)老虎機(jī)吐錢(qián)的概率可不一樣，他不知道每個(gè)老虎機(jī)吐錢(qián)的概率分布是什么，那么每次該選擇哪個(gè)老虎機(jī)可以做到最大化收益呢？這就是多臂賭博機(jī)問(wèn)題（Multi-armed bandit problem, K-armed bandit problem, MAB）。

怎么解決這個(gè)問(wèn)題呢？最好的辦法是去試一試，不是盲目地試，而是有策略地快速試一試，這些策略就是Bandit算法。

這個(gè)多臂問(wèn)題，推薦系統(tǒng)里很多問(wèn)題都與它類似：

假設(shè)一個(gè)用戶對(duì)不同類別的內(nèi)容感興趣程度不同，那么我們的推薦系統(tǒng)初次見(jiàn)到這個(gè)用戶時(shí)，怎么快速地知道他對(duì)每類內(nèi)容的感興趣程度？這就是推薦系統(tǒng)的冷啟動(dòng)。
假設(shè)我們有若干廣告庫(kù)存，怎么知道該給每個(gè)用戶展示哪個(gè)廣告，從而獲得最大的點(diǎn)擊收益？是每次都挑效果最好那個(gè)么？那么新廣告如何才有出頭之日？
我們的算法工程師又想出了新的模型，有沒(méi)有比A/B test更快的方法知道它和舊模型相比誰(shuí)更靠譜？
如果只是推薦已知的用戶感興趣的物品，如何才能科學(xué)地冒險(xiǎn)給他推薦一些新鮮的物品？

?Exploitation：選擇現(xiàn)在可能最佳的?案

?Exploration：選擇現(xiàn)在不確定的?些?案，但未來(lái)可能會(huì)有?收益的?案。

在做兩類決策的過(guò)程中，不斷更新對(duì)所有決策的不確定性的認(rèn)知，優(yōu)化長(zhǎng)期的?標(biāo)函數(shù)

在這里插入圖片描述

推薦系統(tǒng)里面有兩個(gè)經(jīng)典問(wèn)題：EE和冷啟動(dòng)。前者涉及到平衡準(zhǔn)確和多樣，后者涉及到產(chǎn)品算法運(yùn)營(yíng)等一系列。

Multi-armed bandit problem

在這里插入圖片描述

推薦系統(tǒng)領(lǐng)域，領(lǐng)域有兩個(gè)經(jīng)典問(wèn)題：EE問(wèn)題和用戶冷啟動(dòng)問(wèn)題。[2]

? EE問(wèn)題：上面提到過(guò)的exploit-explore問(wèn)題；比如已知某用戶對(duì)A產(chǎn)品感興趣，那么在大多數(shù)時(shí)間要給他推送A的鏈接才能賺錢(qián)，這就是exploit；但是為了賺更多的錢(qián)，就需要知道他還對(duì)哪些產(chǎn)品感興趣，那么在有些時(shí)候就可以嘗試一下給他推送B，C，D，E等選擇看用戶的反應(yīng)，這就是explore。

用戶冷啟動(dòng)問(wèn)題：面對(duì)新用戶時(shí)如何用盡量少的次數(shù)，猜出用戶的大致興趣。[2]

臨床測(cè)試場(chǎng)景clinical trials

? 假設(shè)有一批用于治療某種疾病的新藥需要進(jìn)行測(cè)試，目標(biāo)肯定是在盡量少的測(cè)試體上進(jìn)行嘗試，找出效果最好的那一種然后應(yīng)用于其他病患。由于測(cè)試需要等待并觀察，盡早找出效果最好的藥物類型也有利于救助更多的病患；同時(shí)，該方法也有助于減少承受不良藥物副作用的測(cè)試體數(shù)量/增加病患存活率。[3]

Bandit算法-原理

Epsilon-Greedy：以1-epsilon的概率選取當(dāng)前收益最?大的臂，以epsilon的概率隨機(jī)選取?一個(gè)臂。（缺點(diǎn)是后續(xù)觀察后就找到規(guī)律了，就不必要繼續(xù)以當(dāng)前概率探索）
Upper Con?dence Bound：均值越?大，標(biāo)準(zhǔn)差越?小，被選中的概率會(huì)越來(lái)越?大

$\overline{x}_{j}(t)+\sqrt{\frac{2 \ln t}{T_{j, t}}}$

（首先探索出了一些一定的價(jià)值，大概知道每個(gè)老虎機(jī)的收益率，Upper的意思是認(rèn)為我們后面探索的是會(huì)更好。右邊的上量表示總共試過(guò)多少，右邊下量表示這個(gè)老虎機(jī)試過(guò)多少次，當(dāng)前老虎機(jī)探索的越多，給的機(jī)會(huì)就越小。目的是相對(duì)均勻的選擇老虎機(jī)去做探索，不讓一個(gè)老虎機(jī)做過(guò)多的探索。）

Thompson Sampling：每個(gè)老虎機(jī)臂維護(hù)一個(gè)beta(wins, lose)分布，每次?用現(xiàn)有的beta分布產(chǎn)?生?一個(gè)隨機(jī)數(shù)，選擇隨機(jī)數(shù)最?大的臂繼續(xù)做探索。探索完之后，去更新beta分布。

區(qū)別：

Upper Con?dence Bound（UCB）：對(duì)于一個(gè)老虎機(jī)來(lái)講，每次返回的策略結(jié)果一樣。從收斂的角度來(lái)講，ucb比較慢。

Thompson Sampling（湯普森采樣）：有一定的隨機(jī)策略，他是靠分布產(chǎn)生一個(gè)隨機(jī)數(shù)，他不是一個(gè)確定的事件。只是滿足一個(gè)分布。從收斂的角度來(lái)講，湯普森采樣實(shí)現(xiàn)簡(jiǎn)單，計(jì)算量復(fù)雜度小。

Bandit算法代碼實(shí)現(xiàn)

import numpy as np
import matplotlib.pyplot as plt
import math
number_of_bandits=10
number_of_arms=10
number_of_pulls=10000
epsilon=0.3
min_temp = 0.1
decay_rate=0.999

def pick_arm(q_values,counts,strategy,success,failure):
    global epsilon
    if strategy=="random":
        return np.random.randint(0,len(q_values))

    if strategy=="greedy":
        best_arms_value = np.max(q_values)
        best_arms = np.argwhere(q_values==best_arms_value).flatten()
        return best_arms[np.random.randint(0,len(best_arms))]


    if strategy=="egreedy" or strategy=="egreedy_decay": 
        if  strategy=="egreedy_decay": 
            epsilon=max(epsilon*decay_rate,min_temp)
        if np.random.random() > epsilon:
            best_arms_value = np.max(q_values)
            best_arms = np.argwhere(q_values==best_arms_value).flatten()
            return best_arms[np.random.randint(0,len(best_arms))]
        else:
            return np.random.randint(0,len(q_values))

    if strategy=="ucb":
        total_counts = np.sum(counts)
        q_values_ucb = q_values + np.sqrt(np.reciprocal(counts+0.001)*2*math.log(total_counts+1.0))
        best_arms_value = np.max(q_values_ucb)
        best_arms = np.argwhere(q_values_ucb==best_arms_value).flatten()
        return best_arms[np.random.randint(0,len(best_arms))]

    if strategy=="thompson":
        sample_means = np.zeros(len(counts))
        for i in range(len(counts)):
            sample_means[i]=np.random.beta(success[i]+1,failure[i]+1)
        return np.argmax(sample_means)


fig = plt.figure()
ax = fig.add_subplot(111)
for st in ["greedy","random","egreedy","egreedy_decay","ucb","thompson"]:

    best_arm_counts = np.zeros((number_of_bandits,number_of_pulls))

    for i in range(number_of_bandits):
        arm_means = np.random.rand(number_of_arms)
        best_arm = np.argmax(arm_means)

        q_values = np.zeros(number_of_arms)
        counts = np.zeros(number_of_arms)
        success=np.zeros(number_of_arms)
        failure=np.zeros(number_of_arms)

        for j in range(number_of_pulls):
            a = pick_arm(q_values,counts,st,success,failure)

            reward = np.random.binomial(1,arm_means[a])
            counts[a]+=1.0
            q_values[a]+= (reward-q_values[a])/counts[a]

            success[a]+=reward
            failure[a]+=(1-reward)
            best_arm_counts[i][j] = counts[best_arm]*100.0/(j+1)
        epsilon=0.3


    ys = np.mean(best_arm_counts,axis=0)
    xs = range(len(ys))
    ax.plot(xs, ys,label = st)

plt.xlabel('Steps')
plt.ylabel('Optimal pulls')

plt.tight_layout()
plt.legend()
plt.ylim((0,110))
plt.show()

Bandit算法-效果

在這里插入圖片描述

Bandit算法的應(yīng)用

?興趣探索

?冷啟動(dòng)探索（新用戶來(lái)了，不曉得他的興趣愛(ài)好）

?LinUCB：加?特征信息。?User和Item的特征預(yù)估回報(bào)及其置信區(qū) 間，選擇置信區(qū)間上界最?的Item推薦，觀察回報(bào)后更新線性關(guān)系的參數(shù)，以此達(dá)到試驗(yàn)學(xué)習(xí)的?的。

?COFIBA：bandit結(jié)合協(xié)同過(guò)濾

?基于?戶聚類挑選最佳的Item（相似?戶集體決策的Bandit）；

?基于?戶的反饋情況調(diào)整User和Item的聚類（協(xié)同過(guò)濾部分）

EE實(shí)踐

?興趣擴(kuò)展：相似話題，搭配推薦

??群算法：userCF、?戶聚類

?Bandit算法

?graph walking

?平衡個(gè)性化推薦和熱門(mén)推薦?例

?隨機(jī)丟棄?戶?為歷史

?隨機(jī)擾動(dòng)模型參數(shù)

眼前的茍且&遠(yuǎn)?的?野

探索傷害?戶體驗(yàn)，可能導(dǎo)致?戶流失
探索帶來(lái)的長(zhǎng)期收益（留存率）評(píng)估周期長(zhǎng)，KPI壓??
如何平衡實(shí)時(shí)興趣和長(zhǎng)期興趣？
如何平衡短期產(chǎn)品體驗(yàn)和長(zhǎng)期系統(tǒng)?態(tài)？
如何平衡?眾?味和?眾需求？
如何避免劣幣趨勢(shì)良幣？

二、評(píng)估方法

問(wèn)卷調(diào)查：成本?
離線評(píng)估:

? 只能在?戶看到過(guò)的候選集上做評(píng)估，且跟線上真實(shí)效果存在偏差

? 只能評(píng)估少數(shù)指標(biāo)

? 速度快，不損害?戶體驗(yàn)

在線評(píng)估：A/B testing

（離線只能評(píng)估比較少的指標(biāo)，比如說(shuō)準(zhǔn)確率，覆蓋度，多樣性。但是留存率等只能在在線評(píng)估。）

實(shí)踐：離線評(píng)估和在線評(píng)估相結(jié)合，定期做問(wèn)卷調(diào)查。

AB testing

單層實(shí)驗(yàn)：以某種分流的?法（隨機(jī)、uid%100），給每個(gè)實(shí)驗(yàn)組分配?定的流量。每個(gè)實(shí)驗(yàn)組配置不同的實(shí)驗(yàn)參數(shù)。

在這里插入圖片描述

?只能?持少量實(shí)驗(yàn)，不利于迭代

?實(shí)驗(yàn)之間不獨(dú)?，策略之間可能相互影響

?分流?式不靈活

多層重疊實(shí)驗(yàn)框架

?保留單層實(shí)驗(yàn)框架易?，快速的優(yōu)點(diǎn)的同時(shí)，增加可擴(kuò)展性，靈活性，健壯性。

?核?思路：將參數(shù)劃分到N個(gè)?集，每個(gè)?集都關(guān)聯(lián)?個(gè)實(shí)驗(yàn)層，每個(gè)請(qǐng)求會(huì)被N個(gè)實(shí)驗(yàn)處理，同?個(gè)參數(shù)不能出現(xiàn)在多個(gè)層中。

在這里插入圖片描述

分配函數(shù)（流量在每層被打散的?法）如何設(shè)計(jì)？如何保證每層流量分配的均勻性和正交性？

?如何處理實(shí)驗(yàn)樣本的過(guò)濾（eg只選取某個(gè)地區(qū)的?戶、只選取新?戶）？

?分配多?的流量可以使實(shí)驗(yàn)置信？

《Overlapping Experiment Infrastructure: More, Better, Faster Experimentation》

在這里插入圖片描述

推薦系統(tǒng)實(shí)踐

如何解決冷啟動(dòng)問(wèn)題

?戶冷啟動(dòng)

1.收集?戶特征

??戶注冊(cè)信息：性別、年齡、地域

?設(shè)備信息：定位、?機(jī)型號(hào)、app列表

?社交信息、推?素材、安裝來(lái)源

在這里插入圖片描述

2.制造粗粒度選項(xiàng)，引導(dǎo)?戶填寫(xiě)興趣

在這里插入圖片描述

3.transfer learning：使?其它站點(diǎn)的?為數(shù)據(jù)。例如騰訊視頻 &QQ?樂(lè)，今?頭條&抖?

在這里插入圖片描述

4.新??戶推薦策略的差異

新?戶在冷啟動(dòng)階段更傾向于熱門(mén)排?榜，??戶會(huì)更加需要長(zhǎng)尾推薦（參考Performance of recommender algorithms on top-n recommendation tasks，Net?ix@RecSys2010）
推薦候選的代表性&多樣性
Explore Exploit?度
使?單獨(dú)的特征和模型預(yù)估
保護(hù)?戶體驗(yàn)（物品冷啟動(dòng)探索、?告、推送）

物品冷啟動(dòng)

物品冷啟動(dòng)時(shí)會(huì)遇到哪些問(wèn)題？
如何做物品冷啟動(dòng)推薦？和?戶冷啟動(dòng)策略有哪些異同？
如何評(píng)估物品冷啟動(dòng)推薦的質(zhì)量及帶來(lái)的收益？
實(shí)驗(yàn)傳統(tǒng)的ab testing?法是否能夠驗(yàn)證冷啟動(dòng)優(yōu)化效果？

?業(yè)界推薦系統(tǒng)架構(gòu)

學(xué)術(shù)界&?業(yè)界區(qū)別

在這里插入圖片描述

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

推薦系統(tǒng)實(shí)戰(zhàn)第01課推薦系統(tǒng)簡(jiǎn)介

推薦系統(tǒng)實(shí)戰(zhàn)第01課推薦系統(tǒng)簡(jiǎn)介

推薦系統(tǒng)介紹（what why where）

1、推薦系統(tǒng)是什么(what)

2、為什么推薦系統(tǒng)越來(lái)越火？（why）

3、推薦系統(tǒng)需要做怎么做？（How）

4、尋求解決信息過(guò)載的思路

5、推薦系統(tǒng)結(jié)構(gòu)

推薦系統(tǒng)評(píng)估