論文: http://www.aclweb.org/anthology/D16-1223

Introduction

LSTM已經(jīng)廣泛應(yīng)用與sequence labeling，又考慮到encoder-decoder模型在機(jī)器翻譯上的成功，這篇文章就提出一個encoder-labeler LSTM去把句子級別的信息整合到slot filling任務(wù)。主要貢獻(xiàn)是：

1. Proposed an encoder-labeler LSTM to leverage sentence-level information for slot filling.
2. Achieved the state-of-the-art F1-score of 95.66% in the slot filling task of the standard ATIS corpus.

Methods

• Labeler LSTM(W)
  Typical LSTM for slot filling. (W) means words are fed to the LSTM.
  缺點(diǎn)：沒有考慮label之間的依賴關(guān)系

• Labeler LSTM(W+L)
  除了words，上一個時刻的output label也作為隱層的輸入。
  在訓(xùn)練的時候，輸入的是真實(shí)label (one-hot-vector)，測試時是預(yù)測的label。

• Encoder-decoder LSTM
  機(jī)器翻譯的encoder-decoder模型，不過不同的是，encoder-labeler接受同樣的輸入序列兩次，而不是一次。

• Encoder-labeler LSTM(W)
  encoder LSTM倒序讀入整個句子，最后的隱層中還有整個句子的信息。labeler LSTM和（a）一樣，不過初始隱層向量用encoder的最后隱層初始化。

• Encoder-labeler LSTM(W+L)
  encoder和（d）一樣，labeler和（d）一樣

Experiments

• ATIS
  Encoder-labeler的比對應(yīng)單labeler的好，W+L相比于W沒有提升
• a large-scale data set
  MIT Restaurant + MIT Movie + ATIS

Conclusion

以后可以把encoder-labeler LSTM方法與multi-task (slot filling & intent classification)結(jié)合