2019-06-02

Consequential ranking algorithms and long-term welfare

  • arxiv 2019
  • 利用強(qiáng)化學(xué)習(xí)優(yōu)化推薦系統(tǒng)（排序算法）的長(zhǎng)期目標(biāo)
  • 現(xiàn)有的推薦系統(tǒng)排序算法，都是優(yōu)化的立即目標(biāo)，也就是說(shuō)讓每一次的收益最大化，但是這樣可能并不符合長(zhǎng)期的收益最大化
  • 因?yàn)榭紤]到每次的排序結(jié)果，都會(huì)對(duì)以后的狀態(tài)造成影響：用戶偏好和item的特征都可能改變
  • 例如一個(gè)新聞推薦系統(tǒng)，經(jīng)常把假消息的推薦排序靠前，可能用戶的CTR會(huì)比較高，但是這樣不利于平臺(tái)的長(zhǎng)期收益
  • 本文把多次的推薦結(jié)果看作一個(gè)MDP，每次動(dòng)作是一次排序，用RL來(lái)解決這個(gè)問題

Learning Semantic Representations for NovelWords: Leveraging Both Form and Context

  • AAAI 2019
  • 學(xué)習(xí)訓(xùn)練集中沒有出現(xiàn)過的單詞的word Embedding
  • 前人一般是把新單詞的Embedding設(shè)為其他單詞Embedding的平均
  • 本文同時(shí)利用單詞的form和context得到單詞的Embedding
  • 對(duì)form的建模就是用n-gram Embedding的平均
  • 對(duì)context的建模就是用周圍的詞的平均
  • 最后把以上兩者按不同比例加起來(lái)
  • loss就是把常見的單詞的Embedding和利用form+context的Embedding做MSE

Learning Attribute-Specific Representations for Visual Tracking

  • AAAI 2019
  • 學(xué)習(xí)視頻的分屬性的表示，用于目標(biāo)追蹤
  • 因?yàn)椴煌哪繕?biāo)追蹤視頻幾種不同的屬性，例如：target motions（目標(biāo)在移動(dòng)）、camera motions（相機(jī)在移動(dòng)）、illumination variations（光照變化）、occlusions（遮擋）、scale changes（尺度變化）等

  • 所以本文提出一種兩步訓(xùn)練的方法，如下如：


    兩步訓(xùn)練方法
  • 先學(xué)出視頻的不同屬性下的表示（因?yàn)榭赡芡瑫r(shí)有多個(gè)屬性存在），然后用不同屬性表示來(lái)預(yù)測(cè)相應(yīng)的屬性來(lái)訓(xùn)練這部分的參數(shù)
  • 得到每個(gè)屬性下的表示，然后合并起來(lái)預(yù)測(cè)目標(biāo)位置

Learning to Embed Sentences Using Attentive Recursive Trees

  • AAAI 2019
  • 用一個(gè)新的樹形結(jié)構(gòu)學(xué)習(xí)句子的Embedding表示

  • 以前的語(yǔ)法解析樹種，單詞全部在葉子節(jié)點(diǎn)上，如圖：


    以前的句法解析樹

  • 本文提出一個(gè)新的數(shù)形結(jié)構(gòu)（AR-Tree）用來(lái)對(duì)句子建模，數(shù)上的每一個(gè)節(jié)點(diǎn)對(duì)都是單詞，如圖：


    Attentive Recursive Tree
  • AR-Tree中，最重要的單詞在最上面（根節(jié)點(diǎn)），建樹的時(shí)候，每次選出最重要的當(dāng)根節(jié)點(diǎn)，然后左右分兩部分遞歸建樹
  • 每個(gè)單詞的重要性通過LSTM+Dense得到
  • 建樹之后用Tree-LSTM對(duì)樹建模
  • 由于建樹部分使得模型不可微，所以用強(qiáng)化的方法來(lái)訓(xùn)練

Multi-Task Learning with Multi-View Attention for Answer Selection and Knowledge Base Question Answering

  • AAAI 2019
  • 做答案選擇（也就是答案排序），和基于知識(shí)庫(kù)的QA（KBQA）
  • 以前的方法忽略了多個(gè)數(shù)據(jù)之間的關(guān)聯(lián)，也就是不同QA對(duì)之間應(yīng)該具有一些對(duì)互相有用的信息。

  • 所以本文提出一個(gè)多任務(wù)學(xué)習(xí)的方案，也就是對(duì)多條數(shù)據(jù)當(dāng)做多任務(wù)學(xué)習(xí)，整體框架如下：


    整體框架

Online Embedding Compression for Text Classification using

Low Rank Matrix Factorization

  • AAAI 2019
  • 一種把word Embedding壓縮的方法
  • 本文覺得word Embedding占用了太多的存儲(chǔ)空間，所以想把它壓縮一下
  • 通過矩陣分解的方法，例如Embedding矩陣是E（E \in R^{N \times k}），分解乘E=AB，A \in R^{N \times r}, E \in R^{r \times k}, r < k
  • 這樣就把E壓縮成了兩個(gè)小的矩陣A和B
  • 我認(rèn)為這就是先Embedding成一個(gè)較小維度，然后Dense成較大維度

Personalized Question Routing via Heterogeneous Network Embedding

  • AAAI 2019
  • 做回答者推薦，給定一個(gè)新問題，給這個(gè)問題推薦優(yōu)質(zhì)回答者

  • 對(duì)于數(shù)據(jù)集，本文考慮到3個(gè)信息：?jiǎn)栴}內(nèi)容、提問者、回答者，用這3個(gè)信息對(duì)數(shù)據(jù)建圖，節(jié)點(diǎn)是這3個(gè)中的一個(gè)，邊是他們的關(guān)系（提問或者回答），如圖：


    圖
  • 對(duì)問題先用LSTM學(xué)出問題的表示
  • 然后用隨機(jī)游走的方法在圖上生成序列，用word2vec的方法學(xué)習(xí)每個(gè)節(jié)點(diǎn)的表示
  • 最后得到了每個(gè)問題、提問者、回答者3個(gè)表示，用CNN對(duì)他們建模得到預(yù)測(cè)的分?jǐn)?shù)，就是這個(gè)回答者能給這個(gè)問題提供優(yōu)質(zhì)答案的分?jǐn)?shù)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 二叉樹和紅黑二叉樹 二叉樹的定義 二叉樹是樹形結(jié)構(gòu)的一個(gè)重要類型。 許多實(shí)際問題抽象出來(lái)的數(shù)據(jù)結(jié)構(gòu)往往是二叉樹的形...
    李紅偉_bf98閱讀 282評(píng)論 0贊 0
  • day1Linux基礎(chǔ) 計(jì)算機(jī) = 硬件 + 軟件 計(jì)算機(jī)5大部件：運(yùn)算器、控制器、存儲(chǔ)器、輸入設(shè)備、輸出設(shè)備 軟...
    火星人_ef5b閱讀 262評(píng)論 0贊 0
  • 什么是框架：框架是將代碼進(jìn)行封裝，之后進(jìn)行重復(fù)使用的過程 常見的java開發(fā)框架 1 MyBatis，orm框架，...
    賭未來(lái)_e1e8閱讀 193評(píng)論 0贊 0
  • 敬愛的李老師，智慧的馬教授，親愛的家人們： 大家好，我是侯維山（侯總）的人，來(lái)自濱州鑫山力機(jī)械的王強(qiáng)。 今天是20...
    鑫山力王強(qiáng)閱讀 388評(píng)論 0贊 1
  • 白頭難易清風(fēng)過， 一展穹眉半復(fù)殤。 思好念還常繼退， 哪能不見路來(lái)行。
    芝初閱讀 233評(píng)論 4贊 16

友情鏈接更多精彩內(nèi)容