1.1 推薦系統(tǒng)簡(jiǎn)介

學(xué)習(xí)目標(biāo)

• 了解推薦系統(tǒng)概念以及產(chǎn)生背景
• 記憶推薦系統(tǒng)工作原理以及作用
• 了解推薦系統(tǒng)與web項(xiàng)目區(qū)別

1 推薦系統(tǒng)概念以及產(chǎn)生背景

推薦系統(tǒng)經(jīng)過(guò)多年的發(fā)展，已經(jīng)成為了互聯(lián)網(wǎng)產(chǎn)品的標(biāo)配，也是AI成功落地的分支之一，在電商，咨詢，音樂(lè)，短視頻等應(yīng)用中，推薦系統(tǒng)都是核心組件之一。

• 什么是推薦系統(tǒng)
  沒(méi)有明確需求的用戶訪問(wèn)我們的服務(wù)，且物品信息量過(guò)載時(shí)，推薦系統(tǒng)經(jīng)過(guò)一定規(guī)則對(duì)物品信息進(jìn)行排序，并將排序在前的物品優(yōu)先向用戶展示。
• 信息過(guò)載&用戶需求不明確
  推薦系統(tǒng)的發(fā)展：分類(lèi)目錄>搜索引擎>推薦系統(tǒng)

• 推薦系統(tǒng)VS搜索引擎

  
  

2 推薦系統(tǒng)工作原理以及應(yīng)用

• 推薦系統(tǒng)工作原理
  • 社會(huì)化推薦 向朋友咨詢、社會(huì)化推薦、讓好友給自己推薦物品
  • 基于內(nèi)容的推薦 打開(kāi)搜索引擎進(jìn)行搜索
  • 基于流行度的推薦 查看排行榜
  • 基于協(xié)同過(guò)濾的推薦 找到和自己歷史興趣相似的用戶
• 推薦系統(tǒng)的作用
  • 高效連接用戶和物品
  • 提高用戶停留時(shí)間和用戶活躍度
  • 有效的幫助產(chǎn)品實(shí)現(xiàn)其商業(yè)價(jià)值
• 推薦系統(tǒng)應(yīng)用場(chǎng)景
  購(gòu)物推薦 音樂(lè)推薦 文章推薦

3 推薦系統(tǒng)和Web項(xiàng)目的區(qū)別

• 通過(guò)信息過(guò)濾實(shí)現(xiàn)目標(biāo)提升 VS 穩(wěn)定的信息流通系統(tǒng)
  • web項(xiàng)目:處理復(fù)雜的業(yè)物邏輯，處理高并發(fā)，為用戶提供一個(gè)穩(wěn)定的信息流通服務(wù)
  • 推薦系統(tǒng)：追求指標(biāo)增長(zhǎng)，留存率/閱讀時(shí)間/GMV(電商網(wǎng)站成交額)/視頻網(wǎng)站。從公司角度出發(fā)考慮問(wèn)題
• 不確定性VS確定性
  -web項(xiàng)目：對(duì)結(jié)果有確定預(yù)期
  -推薦系統(tǒng)：結(jié)果是概率問(wèn)題

1.2 推薦系統(tǒng)設(shè)計(jì)

學(xué)習(xí)目標(biāo)

• 了解推薦系統(tǒng)要素
• 記憶推薦系統(tǒng)架構(gòu)

1 推薦系統(tǒng)要素

• UI和UE（前端界面）
• 數(shù)據(jù)（Lambda架構(gòu)）
• 業(yè)務(wù)知識(shí)
• 算法

推薦系統(tǒng)架構(gòu)

• 推薦系統(tǒng)整體架構(gòu)

  
  
  推薦系統(tǒng)架構(gòu).PNG

  描述： Lambda架構(gòu)從用戶行為中采集數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行處理，通過(guò)推薦算法計(jì)算出推薦結(jié)果，并將推薦結(jié)果通過(guò)包裝推送給用戶，用戶對(duì)推薦做出反饋，Lambda架構(gòu)再次采集用戶的反饋行為數(shù)據(jù)。

• 大數(shù)據(jù)Lambda架構(gòu)

  • Lambda架構(gòu)是一個(gè)實(shí)時(shí)大數(shù)據(jù)處理框架。
  • Lambda架構(gòu)將離線計(jì)算和實(shí)時(shí)計(jì)算整合，設(shè)計(jì)出一個(gè)能滿足實(shí)時(shí)大數(shù)據(jù)關(guān)鍵特性的架構(gòu)，數(shù)據(jù)關(guān)鍵特性包括有：高容錯(cuò)，低延時(shí)，可擴(kuò)展等。
  • Lambda的分層架構(gòu)
    1. 批處理層
       • 數(shù)據(jù)不可變，可進(jìn)行任何計(jì)算，可水平擴(kuò)展
       • 高延遲 幾分鐘-幾小時(shí)（計(jì)算量和數(shù)據(jù)量不同）
       • 日志收集Flume
       • 分布式存儲(chǔ)：Hadoop
       • 分布式計(jì)算：Hadoop，Spark
       • 視圖存儲(chǔ)書(shū)庫(kù) nosql mysql redis/memcache
    2. 實(shí)時(shí)處理層
       • 流式處理，持續(xù)計(jì)算
       • 存儲(chǔ)和分析某個(gè)窗口期內(nèi)的數(shù)據(jù)（一段時(shí)間按的熱銷(xiāo)排行，實(shí)時(shí)熱搜）
       • 實(shí)時(shí)數(shù)據(jù)收集
       • 實(shí)時(shí)數(shù)據(jù)分析
    3. 服務(wù)層
       • 支持隨機(jī)讀
       • 需要在非常短時(shí)間內(nèi)返回結(jié)果

       • 讀取批處理層和實(shí)時(shí)處理層并對(duì)其歸并

         
         
         Lambda架構(gòu)圖.PNG

• 推薦算法架構(gòu)

  • 召回階段（海選）
    • 召回決定了最終推薦結(jié)果的天花板
    • 常用算法
    • 協(xié)同過(guò)濾
    • 基于內(nèi)容
  • 排序階段（精選）
    - 召回界定了最終推薦結(jié)果的天花板，排序不斷將逼近這個(gè)極限，決定最終的推薦效果。
    • CTR預(yù)估（點(diǎn)擊率預(yù)估 使用邏輯回歸LR算法）估計(jì)用戶是否會(huì)點(diǎn)擊某個(gè)商品 需要用戶的點(diǎn)擊數(shù)據(jù)
    • 策略調(diào)整

1.3 推薦算法

學(xué)習(xí)目標(biāo)

• 了解推薦系統(tǒng)模型構(gòu)建流程
• 理解協(xié)同過(guò)濾原理
• 記憶相似度計(jì)算方法
• 應(yīng)用杰卡德相似度實(shí)現(xiàn)簡(jiǎn)單協(xié)同過(guò)濾推薦案例

1 推薦模型構(gòu)建流程

Data(數(shù)據(jù))>Features(特征)>ML Algorithm(選擇算法訓(xùn)練模型)>Prediction Output(預(yù)測(cè)輸出)

• 數(shù)據(jù)清洗/數(shù)據(jù)處理
  • 數(shù)據(jù)來(lái)源
    • 顯性數(shù)據(jù) （打分，評(píng)論/評(píng)價(jià)）
    • 隱性數(shù)據(jù)（歷史訂單，加購(gòu)物車(chē)，頁(yè)面瀏覽，點(diǎn)擊，搜索記錄）
  • 數(shù)據(jù)量/數(shù)據(jù) 能否滿足需求
• 特征工程
  • 從數(shù)據(jù)中篩選特征
  • 用數(shù)據(jù)表示特征
  • 選擇合適的算法
  • 產(chǎn)生推薦結(jié)果

最經(jīng)典的推薦算法： 協(xié)同過(guò)濾（Collaborative Filtering）

算法思想：物以類(lèi)聚，人以群分
基本的協(xié)同過(guò)濾推薦算法基于以下假設(shè)：

• 基于用戶的協(xié)同過(guò)濾推薦
• 基于物品的協(xié)同過(guò)濾推薦

3 計(jì)算相似度（Similarity Calculation）

• 相似度計(jì)算方法
  • 歐氏距離
  • 余弦相似度
• 皮爾遜相關(guān)系數(shù)Pearson
• 杰卡德相似度Jaccard(適用于布爾向量)
• 如何選擇余弦相似度
  • 余弦相似度/皮爾遜相關(guān)系數(shù) 適合于用戶評(píng)分?jǐn)?shù)據(jù)（有真實(shí)數(shù)據(jù)值）
  • 杰卡德相似度適用于隱式反饋數(shù)據(jù)（是/無(wú)，是/否，即0/1）