【论文笔记】基于LSTM的问答对排序- 专知

【论文笔记】基于LSTM的问答对排序

【导读】本篇论文使用时间门同步学习文本对之间的语义特征，在 Quasi Recurrent Neural Network (QRNN) 模型的基础上进行创新，提出新的模型Cross Temporal Recurrent Network （CTRN）。论文通过对问题和答案对的遗忘门和输出门的信息中获益，从而学习QA的联合序列对。

QRNN

通过结合LSTM和CNN的特征构成的QRNN，其结合了RNN和CNN的特征：

像CNN一样，基于时间步维度和minibatch维度上进行并行计算
像RNN一样，允许输出依赖之前的元素，即过去时间依赖性

与LSTM和CNN一样，QRNN可以分解为2个组件：卷积和池化

与LSTM相比，并行化提高了QRNN的速度，因此作者论文中提出的模型基于QRNN，因为门是预先学习的，它能够容易的在两个QRNN之间对齐时间门。而在LSTM中对齐时间门可能非常麻烦且低效。更重要的一点是QRNN的时间门具有关于整个序列的全局信息而LSTM不具有全局信息。

卷积

给一组长L的序列，每个向量的维度为m，QRNN的卷积内部结构遵循如下公式：

X表示维度为m，长度为L的序列，都是R^{k×n×m}的张量，*表示是以k为宽度的序列维度上的窗口滑动。

池化

Bradbury et al. 2016在论文中池化部分提到了3种方案：f-pooling（动态平均池化）、fo-pooling（基于动态平均池化）、ifo-pooling，本篇论文作者提到了fo-pooling（基于动态平均池化），具有一个独立的输入门和遗忘门：

用公式表示：

这里，c_t表示为神经元状态，h_t表示为隐藏状态，f_t,o_t分别表示为t时刻的遗忘门和输出门。

CTRN

作者在论文中提出的模型为 Cross Temporal Recurrent Network （CTRN）

Embedding+Projection Layer

模型输入包括两部分（问题q和答案a对），通过embedding层输出一个n维向量，然后通过projection layer输出m维向量

Quasi-Recurrent Layer （即QRNN网络）

输入L个向量，并经过3个1D卷积运算获得矩阵Zs,Fs,Os，s={q,a}

Light weight Temporal Crossing(LTC)

LTC是作者模型的创新点，在QRNN的基础上进行延伸，在这一层中，有两个CTRN cell，分别是CTRN-Q，CTRN-A，分别代表问题和答案两个部分。从图中可以看出这层中CTRN cell的出入包括5部分，拿CTRN-Q来说，一部分来自自身卷积的输出zq，fq，oq，另一部分来自answer的卷积输出oa，f_a，具体情况如下所示：