[ACL 2019] Neural News Recommendation with Long- and Short-term User Representations

新聞推薦，學(xué)習(xí)用戶的兩個(gè)表示：用戶的長期興趣和短期興趣
其他工作一般都只學(xué)習(xí)了用戶的一種表示
長期興趣表示就是一個(gè)固定的user Embedding
短期用戶表示就是用戶最近點(diǎn)擊的新聞的表示，通過GRU得到
新聞的表示建模如下圖，兩個(gè)級(jí)別的Topic Embedding和Title的表示拼接，Title的表示用CNN+Attention得到

news encoder
然后就是怎么合并兩種用戶表示了，一種是用長期用戶表示初始化短期表示的GRU hidden state，一折是直接拼接兩種表示，從實(shí)驗(yàn)效果來看，初始化的效果好一點(diǎn)，兩個(gè)方法具體如下兩圖

LSTUR-ini

LSTUR-con
最后通過用戶表示與候選news表示做點(diǎn)積得到預(yù)測分?jǐn)?shù)
主要貢獻(xiàn)：提出了一種方法同時(shí)學(xué)習(xí)用戶的長期和短期表示

[IJCAI 2019] Deep Session Interest Network for Click-Through Rate Prediction

阿里的文章，DIN和DIEN之后的一篇，DSIN
本文考慮到一個(gè)現(xiàn)象，就是用一個(gè)session里面的item一般都是很相似的，不同session的item差異比較大，如下圖：

session的差異
所以本文提出了一個(gè)基于session的CTR預(yù)估方法，整體結(jié)構(gòu)如下

Overview
對(duì)于每一個(gè)session，用multi-head self-attention建模然后mean pooling得到一個(gè)表示
然后用Bi-LSTM對(duì)多個(gè)session的表示建模
中間用attention（activation unit）得到兩個(gè)整體的表示
最后與user profile表示、item profile表示拼一起，然后MLP得到最后的預(yù)測值
主要貢獻(xiàn)：提出了一種基于session的CTR預(yù)估模型
缺點(diǎn)：user沒有與item做任何交互，只是最后拼一起了

平衡內(nèi)容創(chuàng)建者平等和內(nèi)容消費(fèi)者滿意度
就是說對(duì)長尾用戶的內(nèi)容增加曝光，而又不損害用戶滿意度
主要通過對(duì)用戶的多級(jí)社交網(wǎng)絡(luò)friends做attention，這樣得到用戶的個(gè)性化表示能增加推薦的準(zhǔn)確度和多樣性
對(duì)內(nèi)容（文檔）的建模如下圖，通過CNN+attention對(duì)word level建模，然后通過BiGRU+attention得到整個(gè)文檔的表示

architecture
用戶的表示，也就是他的多個(gè)多級(jí)friends的表示的attention，多個(gè)friends通過蒙特卡羅樹探索得到，如下圖：

social
用Gini指數(shù)來量化不同模型的解決長尾問題的程度，越大的Gini指數(shù)說明越少的內(nèi)容統(tǒng)治了整個(gè)市場，實(shí)驗(yàn)效果如圖：

實(shí)驗(yàn)效果
主要貢獻(xiàn)：提出了內(nèi)容生產(chǎn)者公平的問題，不能使得用戶滿意度降低，同時(shí)提出了一個(gè)模型來解決這個(gè)問題。

騰訊的文章，也是解決長尾內(nèi)容的問題
用Look-alike模型，就是對(duì)一個(gè)item，得到與其有過交互的一些用戶當(dāng)做seed users，然后從seed users出發(fā)得到一些相似的其他用戶，給這些用戶推薦這個(gè)item
這樣的話，只要一個(gè)item與其交互過的user數(shù)量達(dá)到一定量，就能把它推薦給很多用戶了，結(jié)構(gòu)如下圖

model structure
然后通過異步更新seed users的方法使得可以快速在線預(yù)測
主要貢獻(xiàn)：提出了長尾內(nèi)容問題，并且提出一個(gè)解決方法

自動(dòng)特征增廣方法
通過CNN從原始特征中生成一些新的特征，用來模擬特征工程，來得到更好的效果，如下圖

FGCNN
具體的，原始特征就是多個(gè)Field的Embedding表示的一個(gè)矩陣，然后用CNN在這個(gè)矩陣上做卷積，得到生成的人造特征，再與原始特征拼一起來做預(yù)測，如下圖

overview
主要貢獻(xiàn)：一種新的角度做模型，生成人造特征
缺點(diǎn)：特征就還是原來的沒有變，相當(dāng)于多做了一步而已

用Transformer對(duì)用戶行為建模，得到預(yù)測結(jié)果
整體結(jié)構(gòu)圖如下，就是用transformer對(duì)歷史item表示和target item一起建模，然后去其他特征的表示拼一起，然后MLP得到最后的預(yù)測

overview architecture
主要貢獻(xiàn)：用Transformer結(jié)構(gòu)對(duì)用戶序列建模