Author： Ji Young Lee MIT
Publication： NAACL-HLT 2016
Link：《Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks》
一、主要工作
- 对Sequential Short-Text进行分类，所谓Sequential Short-Text，从字面上看应该是序列形式，有前后关系的短文本，例如sequences in a document或者utterances in a dialog。
- 提出了基于RNNs和CNNs并融合了preceding short texts的模型。
- 在三个不同数据集中达到了state-of-the-art的效果。
二、论文动机和创新点
- 大多数ANN系统分类短文本都是独立的，没有考虑preceding short texts。然而，短文本一般是出现在一个序列中的，因此使用preceding short texts可能提高分类效果。
- 之前的Sequential Short-Text分类大多数不是基于ANN的模型，而是HMMs，maximum entropy，naive Bayes，CRFs。
三、模型
模型分为两部分：
- 使用RNNs或CNNs把每个短文本变成一个vector representation。
- 在vector representation和a few preceding short text的基础上进行文本分类。
* Short-text representation
[图片上传中。。。（1）]
- RNNs
使用LSTM对短文本进行处理，Polling可以使用last，mean或者max pooling。
LSTM公式：
$$i_t = \sigma(W_ix_t + U_ih_{t-1} + b_i)$$
$$f_t = \sigma(W_fx_t + U_fh_{t-1} + b_f)$$
$$\tilde{c_t} = tanh(W_cx_t + Uch_{t-1} + b_c)$$$$c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c_t}$$
$$ o_t = \sigma(W_ox_t + U_oh_{t-1} + b_o)$$
$$h_t = o_t \odot tanh(c_t)$$
- CNNs
使用a filter $W_f \in \mathbb{R}^{h \times m}$ of height h，对文本进行卷积，Pooling层使用max Pooling。
$$c_t = ReLU(W_f \bullet X_{t:t+h-1} + b_f)$$
* Sequential short-text calssification
用$s_i$表示$n$-dimensional short-text representation of $i^{th}$ short text in the sequence。
把sequence $s_{i-d_1-d_2 : i}$输入一个2层的feedforward ANN 去预测 $i^{th}$ short text的类别。$d_1$和$d_2$是第1和第2层的history sizes。
- 第一层
输入： $s_{i-d_1-d_2 : i}$
输出：$y_{i-d2 : i}$
公式：
[图片上传中。。。（2）]
$W_0, W_{-1}, W_{-1} \in \mathbb{R}^{k \times n}$ 是weight matrices，$b_1 \in \mathbb{R}^k$是bias vector，$y_i \in \mathbb{R}^k$是class representation，$k$是分类的个数。
例如： $i = 10, d_1 = 2, d_2 = 3$, 输入为$s_{5:10}$，输出为$s_{7:10}$。 - 第二层
输入：$y_{i-d2 : i}$
输出：$z_i$
公式：
[图片上传中。。。（3）]
四、实验
- 数据集
- DSTC 4：Dialog State Tracking Challenge 4
- MRDA：ICSI Meeting Recorder Dialog Act Corpus
- SwDA：Switchboard Dialog Act Corpus
[图片上传中。。。（4）]
- 实验结果
[图片上传中。。。（5）]
[图片上传中。。。（6）] 分析： 把sequential information在short-text represention层结合比在class representation层结合更好。
五、总结
本文比较短，在用RNNs和CNNs得到vector representation的阶段没有什么创新，而在分类阶段使用了一种结合sequential information的方式，这是本文的创新点。
