Leveraging Sentence-level Information with Encoder LSTM for Semantic Slot Filling

论文: http://www.aclweb.org/anthology/D16-1223

Introduction

LSTM已经广泛应用与sequence labeling，又考虑到encoder-decoder模型在机器翻译上的成功，这篇文章就提出一个encoder-labeler LSTM去把句子级别的信息整合到slot filling任务。主要贡献是：

1. Proposed an encoder-labeler LSTM to leverage sentence-level information for slot filling.
2. Achieved the state-of-the-art F1-score of 95.66% in the slot filling task of the standard ATIS corpus.

Methods

• Labeler LSTM(W)
  Typical LSTM for slot filling. (W) means words are fed to the LSTM.
  缺点：没有考虑label之间的依赖关系

• Labeler LSTM(W+L)
  除了words，上一个时刻的output label也作为隐层的输入。
  在训练的时候，输入的是真实label (one-hot-vector)，测试时是预测的label。

• Encoder-decoder LSTM
  机器翻译的encoder-decoder模型，不过不同的是，encoder-labeler接受同样的输入序列两次，而不是一次。

• Encoder-labeler LSTM(W)
  encoder LSTM倒序读入整个句子，最后的隐层中还有整个句子的信息。labeler LSTM和（a）一样，不过初始隐层向量用encoder的最后隐层初始化。

• Encoder-labeler LSTM(W+L)
  encoder和（d）一样，labeler和（d）一样

Experiments

• ATIS
  Encoder-labeler的比对应单labeler的好，W+L相比于W没有提升
• a large-scale data set
  MIT Restaurant + MIT Movie + ATIS

Conclusion

以后可以把encoder-labeler LSTM方法与multi-task (slot filling & intent classification)结合