解決問題：Representation Learning

解決方法：policy gradient reinforcement learning

1. 過去的方法

主流的四種用于句子分類的representation models：1. bag-of-words representation models，忽略詞序，使用deep average network或者autoencoder。? 2. Sequence representation models，例如CNN或RNN，考慮了詞序，但是沒有應(yīng)用任何結(jié)構(gòu)信息。 3.Structured representation models例如tree-structured LSTM或者recursive autoencoders使用預(yù)先處理好的parsing trees來建立結(jié)構(gòu)信息。4. 基于Attention的模型使用attention機(jī)制通過給輸入詞或者句子打分來構(gòu)建representation。

2. 問題

過去結(jié)構(gòu)化的方法都需要顯式的標(biāo)注，也有一些自動優(yōu)化結(jié)構(gòu)的研究，在2017年，Yogatama等人提出的，只用下游任務(wù)的監(jiān)督來構(gòu)造用于句子表示的二叉樹結(jié)構(gòu)，但是這種結(jié)構(gòu)非常復(fù)雜且過于深，導(dǎo)致分類性能不令人滿意。Chung，Bengio等人，提出了一種分層表示模型，用潛在變量捕獲序列中的潛在結(jié)構(gòu)。 結(jié)構(gòu)是以潛在的，隱含的方式發(fā)現(xiàn)的。

3. 本文

本文提出了使用強(qiáng)化學(xué)習(xí)的方法來構(gòu)建與任務(wù)相關(guān)的句子結(jié)構(gòu)表示，不需要顯式的標(biāo)注。structure discovery在本文被定義為sequential decision問題。

本文提出兩種模型：Information Distilled LSTM(ID-LSTM)選擇重要的，與任務(wù)相關(guān)的詞來構(gòu)建結(jié)構(gòu)表示；Hierarchical Structured LSTM(HS-LSTM)可以發(fā)掘短語結(jié)構(gòu)，使用兩層信息去構(gòu)建句子表示。模型是由一個policy network和一個classification network構(gòu)成的。

模型結(jié)構(gòu)

ID-LSTM的action在于選擇句子中每個詞的保留還是刪除

HS-LSTM的action在于確定每個詞是phrase的中間還是結(jié)尾