注：论文的一些比较经典的描述尽量用原文，并且主要关注模型的特点和具体的结构，论文关于相关工作以及效果就不赘述了。

SMN的一些特点：

image.png

SMN 首先在不同的粒度上把一个response 和每个上下文语句进行匹配。（1对N）产生N个匹配对。
然后从以上的每个匹配对的word中以及Segment中挖掘重要的匹配信息，然后经过卷积和池操作（CNN）变成一个向量。（N对产生N个向量）
然后这N个向量会通过GRU，按照一个时间序列来累积成一个最终向量。
之后设计好L函数在最后利用最终向量可以计算出一个匹配积分。

解决多轮和单轮的不同的地方：
在于上下文也要和response进行匹配。
1：如何从上下文中分辨出重要的信息。（关键信息）
2：如何对上下文语句的关系进行建模。（信息顺序）

那么看看SMN是如何实现： 关键信息 信息顺序 不同粒度挖掘上下文每局话以及response。

对于每个上下文中的每句话 以及 response，模型都通过 word embedding 和 GRU的隐藏层输出的隐含状态 分别建立了一个 word - word 相似度 矩阵，以及一个 sequence - sequence 相似度矩阵。
对于这两个矩阵就可以从word level 以及 sequence level捕捉到重要的匹配信息。
并且这个信息会通过卷积和池操作被挖掘以及融合成一个matching vector。
通过这种方法，来自不同粒度的上下文信息就会被识别出来。并且相似度高的特征会被CNN挖掘出来，从而实现了 关键信息。
然后这些matching vector会被按照顺序（讲话的顺序从上到下）传入GRU来形成一个最终向量。
这就模拟了语句之间的联系关系和独立关系，也就是实现了 信息顺序。

SMN 相当于扩展了MM（Match Matrix）。在多轮中使用 2D matching paradigm。

SMN的优点：
1：在从一开始，一个response匹配多个上下文语句，因此每个语句的匹配信息都能够被充分挖掘，并且最后应用到最后的积分的时候引入的loss比较小。
2：从每个上下文语句中提取的信息是来自于不同的粒度的，并且是under sufficient supervision form the response。所以每个话之间的，并且对response selection有用的语义结构都能够被充分挖掘出来。
3：匹配和语句关系是连着的，不是相互独立建模，因为语句之间的关系（比如语句的顺序）会被计算进去。（最后那个GRU）

具体每个层在做的事情：
1：Utterance-Response Matching。
首先：
令
word bedding ->
GRU ->

然后可以构造word-word similarity matrix 以及 sequence-sequence similarity matrix 。

其中：


其中e是每个word的word embedding。
是 词之间的 比如可以有
是 句之间的 这个就比如用GRU 把 U和R转化成两个vector。（拿出隐层的输出隐藏状态）
而这两个vector可以理解成语句的vector。
对于隐藏层输出为
对于 有
A是一个m*m的矩阵，在这里做一个线性变换用的。
注意：M_1和M_2就一个。M_1上面的一个元素都是一个值，这个值用对应的两个word embedding计算出来。（比如上面用dot product）
M_2 上面的一个元素也是一个值，这个值用H_U和H_R对应的两个向量（h向量）计算出来的。

然后：
这两个矩阵可以作为CNN的两个输入端，然后CNN 会挖掘特征以及把重要的信息转化成一个matching vector v。

CNN 会做alternates convoution 以及 max-pooling 操作。
通过CNN的特点（略），可以了解到以下事实：
对于识别出合适的回答是有效果的上下文语句中的单词之间或者段落之间是会有比较大的相似度的。并且这样在相似矩阵里面的值也会比较大。
所以CNN 会选择这些比较大的相似特征的地方并且提出一个matching vecotr。
这就是为什么SMN 能够识别重要的信息。并且是基于我们的response的。
（important information in context and leverage it in matching under the supervision of the response）。

之所以考虑multiple channels 是因为想要从多个粒度去捕捉重要的信息。

2： Matching Accumulation。
我们假设是上面那层的输出.matching vector。
然后输入进GRU。用GRU的隐含状态来表示。
(encodes the matching sequence into its hidden states）
。
这个层的作用有两个：
1：模拟句子的上下顺序。
2：可以清理一些CNN引入的噪音。（要细看）reset gate 和 update gate可以控制信息。

3：Matching Prediction and Learning。
对于输入到这层的，我们可以有。

对于L(H_m) 有三种函数表示：
1)
2)
3)attention mechanism
训练损失函数。

最后：
Response Candidate Retrieval。
实际中，做一个 基于索引的chatbot。需要检索一定数量的response candidates from a index beforehand。但是candidate retrieval 并不是本文的重点。但是在现实的系统中是十分重要的。
可以使用5 keywords based on ti-idf scores。