1、DIEN是DIN的進(jìn)化版本
因此這個(gè)模型的應(yīng)用場(chǎng)景和DIN完全一致，也是電商廣告的推薦場(chǎng)景
2、DIN與DIEN的整體思路
2.1在MLP的基礎(chǔ)上，引入先驗(yàn)知識(shí)，加速模型訓(xùn)練，提高模型準(zhǔn)確性
在最一開(kāi)始的時(shí)候，我們引入神經(jīng)網(wǎng)絡(luò)去引入我們的問(wèn)題時(shí)，我們最一開(kāi)始的設(shè)計(jì)，就是寫(xiě)好很多的一個(gè)特征，然后將這些特征輸入到我們整個(gè)神經(jīng)網(wǎng)絡(luò)當(dāng)中（最左邊紅色字體部分），當(dāng)然我們一開(kāi)始也可以不看這些特征，我們可以將用戶(hù)的特征，待推薦的廣告，上下文的特征，將這三個(gè)輸入到神經(jīng)網(wǎng)絡(luò)當(dāng)中去進(jìn)行訓(xùn)練，這是最簡(jiǎn)單的方式，當(dāng)然了，這種表達(dá)能力有限，出來(lái)的效果就不是很好，所以我們可以選擇引入一些先驗(yàn)知識(shí)，將這些先驗(yàn)知識(shí)當(dāng)作它的特征去進(jìn)行訓(xùn)練，當(dāng)我們引入這些先驗(yàn)知識(shí)后，我們的準(zhǔn)確率肯定會(huì)提高（畢竟表達(dá)能力變強(qiáng)了），然后該模型得到的信息就更加豐富，他得到的結(jié)果就更加現(xiàn)實(shí)。
在這里我們的先驗(yàn)知識(shí)就是用戶(hù)目標(biāo)對(duì)廣告的感興趣程度，然后我們就會(huì)告訴模型用戶(hù)對(duì)某廣告感興趣的是多少。既然模型了解的越多，訓(xùn)練出來(lái)就會(huì)更好，那我們就要想辦法把興趣部分（上圖紅色部分）構(gòu)建出來(lái)。但其中感興趣程度是一個(gè)抽象概念，因此要想辦法對(duì)它進(jìn)行建模，把它量化成跟數(shù)學(xué)相關(guān)的一部分內(nèi)容，
然后顯然需要思考一下這個(gè)興趣是個(gè)什么東西，然后對(duì)他進(jìn)行建模
2.2 對(duì)“興趣”建模
興趣與行為的關(guān)系：比如我們?cè)偎站，我們喜歡俄烏戰(zhàn)爭(zhēng)，那我們就會(huì)點(diǎn)擊這方面的內(nèi)容，該點(diǎn)擊就是一個(gè)行為，也就是說(shuō)他將我們的興趣表達(dá)出來(lái)了，也就是行為；反過(guò)來(lái)，我們點(diǎn)擊的行為又可以挖掘我們的興趣，比如我們看一個(gè)用戶(hù)的歷史紀(jì)錄，他點(diǎn)擊了很多二次元內(nèi)容，我們就可以從行為中挖掘出興趣。
因此Unit的任務(wù)，就是從用戶(hù)的歷史行為中，挖掘出用戶(hù)的“興趣”，將“興趣”這個(gè)抽象的概念，進(jìn)行量化表達(dá)
因此訓(xùn)練數(shù)據(jù)中，需要引入用戶(hù)的歷史點(diǎn)擊行為
DIN與DIEN的區(qū)別，就在于對(duì)“興趣”的建模方式不同
3、DIN對(duì)興趣的建模思路及其缺點(diǎn)
3.1、網(wǎng)絡(luò)結(jié)構(gòu)
在紅框部分，他將用戶(hù)的歷史行為引入進(jìn)來(lái)，他認(rèn)為我們的每一個(gè)行為都代表用戶(hù)的一個(gè)興趣，也就是說(shuō)直接將每個(gè)歷史行為等價(jià)于用戶(hù)的興趣，然后通過(guò)注意力機(jī)制，模擬出候選廣告與每個(gè)歷史點(diǎn)擊（興趣）之間的相關(guān)性，從而判斷用戶(hù)對(duì)候選廣告感興趣的程度
3.2、缺點(diǎn)
① 對(duì)“興趣”的表達(dá)，不能完全貼合實(shí)際情況：1、直接把【行為】等價(jià)成【興趣】2、很難通過(guò)已表現(xiàn)出來(lái)的行為，來(lái)反映出用戶(hù)的潛在興趣 。3、之前的方法，忽視了去挖掘潛藏在用戶(hù)行為背后的興趣
例如在某一時(shí)刻點(diǎn)擊了鞋子，DIN就會(huì)認(rèn)為在該時(shí)刻下你對(duì)鞋子該興趣，但忽略了其背后的行為，你可能當(dāng)前也對(duì)衣服、褲子感興趣
② DIN忽略了序列信息，容易基于用戶(hù)所有購(gòu)買(mǎi)歷史行為綜合推薦，而不是針對(duì)“下一次購(gòu)買(mǎi)”推薦
3.3、“興趣”的實(shí)際情況
1、人的興趣的多種多樣的，同一個(gè)時(shí)刻下，擁有多種不同的興趣應(yīng)該用“興趣狀態(tài)”來(lái)描述
在一個(gè)時(shí)刻下，DIN從用戶(hù)行為中只能捕捉到用戶(hù)的一個(gè)興趣比如t時(shí)刻，用戶(hù)點(diǎn)擊了“鞋子”，DIN認(rèn)為該時(shí)刻下，用戶(hù)的興趣只有鞋子
2、每個(gè)興趣都是在動(dòng)態(tài)變化的，都有屬于它們各自的演化過(guò)程
比如用戶(hù)一開(kāi)始喜歡鞋子，但他買(mǎi)了之后，就對(duì)鞋子不感興趣了，因此DIN是無(wú)法捕捉到動(dòng)態(tài)變化的
3、興趣的發(fā)展，是有一定前因后果（前后關(guān)聯(lián))的
4、興趣漂移
每個(gè)時(shí)刻下，用戶(hù)的每個(gè)興趣都有可能轉(zhuǎn)化成行為，可能一段時(shí)間內(nèi)一直在看鞋子，突然就轉(zhuǎn)去看馬桶刷，當(dāng)前時(shí)刻的每個(gè)興趣，都有一定的概率由上個(gè)時(shí)刻的興趣轉(zhuǎn)移過(guò)來(lái)，這叫興趣之間的轉(zhuǎn)移概率
舉例
?因此DIN忽略了序列信息，容易基于用戶(hù)所有購(gòu)買(mǎi)歷史行為綜合推薦，而不是針對(duì)“下一次購(gòu)買(mǎi)”推薦
4、DIEN對(duì)興趣的建模思路
電商場(chǎng)景下用戶(hù)的興趣特點(diǎn)：
1、用戶(hù)的興趣多種多樣，十分豐富，同一時(shí)刻/狀態(tài)下，存在多種興趣
2、興趣漂移比較頻繁
循環(huán)神經(jīng)網(wǎng)絡(luò)滿(mǎn)足上述“興趣”的特點(diǎn)
1、使用循環(huán)神經(jīng)網(wǎng)絡(luò)，從用戶(hù)的序列行為信息中，提取出用戶(hù)的【興趣狀態(tài)】
2、每個(gè)時(shí)刻下的【興趣狀態(tài)】用一個(gè)向量來(lái)表征，這個(gè)向量相當(dāng)于一個(gè)黑盒，當(dāng)中包含了豐富的語(yǔ)義信息，
【興趣狀態(tài)】比如用戶(hù)當(dāng)前有哪些興趣、對(duì)各個(gè)興趣的強(qiáng)烈程度、哪個(gè)興趣的轉(zhuǎn)移概率高
3、利用循環(huán)神經(jīng)網(wǎng)絡(luò)的串聯(lián)結(jié)構(gòu)，以及記憶特性，找到用戶(hù)興趣演化的規(guī)律
步驟
1、從用戶(hù)的歷史行為中提取出用戶(hù)各個(gè)時(shí)刻下的興趣狀態(tài)
2、利用注意力機(jī)制，找到與候選廣告相關(guān)的那部分興趣的演化過(guò)程，判斷用戶(hù)下一時(shí)刻對(duì)該興趣“感興趣”的程度
以上這些整體體現(xiàn)出來(lái)它針對(duì)“下一次購(gòu)買(mǎi)”作推薦
5、DIEN網(wǎng)絡(luò)結(jié)構(gòu)
他和DIN的框架整體是一致的，首先特征里面Target Ad（目標(biāo)廣告）。也就是候選廣告，左側(cè)是一系列的用戶(hù)的歷史行為（b（1）b（2）.....b（T））,然后他們的右側(cè)是上下文信息，用戶(hù)的特征，因此該模型最核心的部分就是用紅線圈起來(lái)的部分，它分為三層（可根據(jù)顏色進(jìn)行區(qū)分）。
最下面的為行為序列層，本質(zhì)上是embedding層，該層就是要對(duì)所有的特征進(jìn)行embedding，
然后進(jìn)入興趣抽取層，他做的事情就是行為序列中抽取出興趣狀態(tài)
第三層（最上面的）叫興趣進(jìn)化層，也就是說(shuō)從興趣狀態(tài)中學(xué)習(xí)到興趣演化的過(guò)程，但他并不是學(xué)習(xí)所有，它是學(xué)習(xí)跟Target Ad 相關(guān)聯(lián)的那一部分興趣的演化的過(guò)程，因此這里需要加入一個(gè)注意力機(jī)制去進(jìn)行篩選，把那些跟Target Ad 相關(guān)的篩選出來(lái)，然后去學(xué)習(xí)他們演化的過(guò)程。
然后模擬出下一個(gè)時(shí)刻（h（T））對(duì)Target Ad 感興趣的程度，然后將剩下的特征一起送入一個(gè)多層感知機(jī)里面去，這個(gè)部分和DIN基本一樣了。
接下來(lái)講興趣抽取層和興趣進(jìn)化層
6、興趣抽取層
作用：挖掘并提取出每個(gè)時(shí)刻下，用戶(hù)行為背后潛藏的【興趣狀態(tài)】
顯然該層使用了GRU循環(huán)神經(jīng)網(wǎng)絡(luò)
6.1、采用的序列模型為GRU
特點(diǎn)：具有記憶特性，可以緩解梯度消失，參數(shù)比LSTM更少，
6.2、結(jié)構(gòu)：多輸入，多輸出
畢竟我們要為第三層興趣的演化過(guò)程做準(zhǔn)備，所以我們要提取出每一個(gè)時(shí)刻下，它所對(duì)應(yīng)的興趣狀態(tài)
6.3、auxiliary loss（輔助損失）對(duì)應(yīng)下圖左側(cè)紅框
6.3.1 含義
則以部分就是去計(jì)算一個(gè)二分類(lèi)，計(jì)算二分類(lèi)的損失，這里，作者設(shè)計(jì)了一個(gè)二分類(lèi)模型來(lái)計(jì)算興趣抽取的準(zhǔn)確性，我們將用戶(hù)下一時(shí)刻真實(shí)的行為e(t+1)作為正例，負(fù)采樣得到的行為作為負(fù)例e(t+1)'，分別與抽取出的興趣h(t)結(jié)合輸入到設(shè)計(jì)的輔助網(wǎng)絡(luò)中，得到預(yù)測(cè)結(jié)果，并通過(guò)logloss計(jì)算一個(gè)輔助的損失
注意：e（t+1）和h（t）做的是內(nèi)積
6.3.2 原因
如果只用最終的（output）計(jì)算損失來(lái)監(jiān)督學(xué)習(xí)，興趣抽取層狀態(tài)提取就不會(huì)很準(zhǔn)確
目標(biāo):提取每個(gè)時(shí)刻下的興趣狀態(tài)
有監(jiān)督學(xué)習(xí)∶老師很重要，能不能最大程度學(xué)習(xí)到，是看老師怎么教
如果只用最后的label去監(jiān)督，則隱藏層所有的狀態(tài)都是為最后一個(gè)狀態(tài)服務(wù)的，提取出來(lái)的隱藏層狀態(tài)顯然是失真的
6.4 舉例
真實(shí)情況：最后點(diǎn)擊了機(jī)器學(xué)習(xí)
學(xué)習(xí)情況
由于最后點(diǎn)擊了機(jī)器學(xué)習(xí)，你每一次狀態(tài)都和機(jī)器學(xué)習(xí)強(qiáng)相關(guān)，就會(huì)學(xué)習(xí)成上圖情況，結(jié)果就失真了
所以說(shuō)不能只用最后的label做監(jiān)督老師
7、興趣進(jìn)化層
7.1、興趣演化的特點(diǎn)
存在興趣漂移
每個(gè)興趣都有屬于它們自己的演化進(jìn)程
7.2、作用
我們需要模擬出Target Ad 相關(guān)聯(lián)的那一部分興趣的演化的過(guò)程，為過(guò)濾噪聲，這里需要加入一個(gè)注意力機(jī)制去進(jìn)行篩選，把那些跟Target Ad 相關(guān)的興趣篩選出來(lái)，然后去學(xué)習(xí)他們演化的過(guò)程。
因此他的作用就是模擬與目標(biāo)廣告相關(guān)的興趣進(jìn)化路徑
7.3、注意力機(jī)制的分?jǐn)?shù)計(jì)算
計(jì)算方式與DIN一樣
注意力得分at（attention? 第t個(gè)時(shí)刻），表示的是當(dāng)前時(shí)間步的興趣序列特征ht與當(dāng)前候選廣告的關(guān)聯(lián)程度，這個(gè)值越大，說(shuō)明當(dāng)前的ht與候選廣告更加相關(guān)，值的我們關(guān)注
7.4、DIN中與注意力得分結(jié)合的方式
簡(jiǎn)單加權(quán)組合
在得到注意力得分之后（weight），我們會(huì)和concat相乘（紅底黑色叉表示相乘)，相乘之后在送入sum pooling層
7.5、DIEN創(chuàng)新點(diǎn)
把這個(gè)注意力操作嵌入到了GRU更新門(mén)里面去，形成了一個(gè)AUGRU的結(jié)構(gòu)，用這個(gè)層來(lái)更有針對(duì)性的模擬與目標(biāo)廣告相關(guān)的興趣進(jìn)化路徑
8、DIN與DIEN的區(qū)別
DIN（Deep Interest Network）和DIEN（Deep Interest Evolution Network）模型都是用于推薦系統(tǒng)的深度學(xué)習(xí)模型，它們的區(qū)別主要在于模型的結(jié)構(gòu)和功能。
1. 結(jié)構(gòu)：
DIN模型主要由候選物品的embedding層、用戶(hù)興趣表示層和興趣進(jìn)化層組成。它通過(guò)用戶(hù)的歷史行為和候選物品的特征，來(lái)學(xué)習(xí)用戶(hù)的興趣表示，并進(jìn)行推薦。
DIEN模型在DIN的基礎(chǔ)上增加了興趣進(jìn)化網(wǎng)絡(luò)，用于建模用戶(hù)興趣的演化過(guò)程。它不僅考慮了用戶(hù)當(dāng)前的興趣，還考慮了興趣的演化和變化，從而更好地捕捉用戶(hù)的興趣動(dòng)態(tài)。
2. 功能：
DIN模型主要用于靜態(tài)的推薦，即根據(jù)用戶(hù)當(dāng)前的興趣進(jìn)行推薦，但沒(méi)有考慮用戶(hù)興趣的演化和變化。
DIEN模型則考慮了用戶(hù)興趣的演化和變化，能夠更好地捕捉用戶(hù)的興趣動(dòng)態(tài)，從而提高推薦的準(zhǔn)確性和個(gè)性化程度。
總的來(lái)說(shuō)，DIEN模型相比DIN模型在考慮用戶(hù)興趣的演化和變化方面更加全面，能夠更好地捕捉用戶(hù)的興趣動(dòng)態(tài)，從而提高推薦的準(zhǔn)確性和個(gè)性化程度。
