attention机制最早是应用于图像领域，2014年由Bahdanau等人在论文Neural Machine Translation by Jointly Learning to Align and Translate中首次将attention机制应于NLP领域，其在seq2seq机器翻译中取得显著效果，在随后的几年attention得到越来越广泛的应用，尤其是NLP领域。这里对attention机制做个梳理。

(soft) attention

   传统的seq2seq模型由encoder-decoder组成，在翻译任务中，encoder端将待翻译的语句作为input，对input中的每个word 依次喂入rnn，得到对应的隐藏状态 ，常见的方法是将最后一个状态 作为固定的context vector C（其他方法请参照下图，C由隐藏状态通过一个非线性函数获得），然后dencoder端拿到这个C向量解码获得目标语句。这种做好就好像是我给你一个输入，这个输入可能是一个短语、一句话、甚至一篇文档，你看了一遍之后就不在看了，然后默默地根据脑海里记得的进行翻译，如果我给你的是短语或者一句话还好，如果是一篇文档就GG了，很难只看一遍就能把整个文档翻译出来的嘛。cho等人还专门对这种框架的翻译效果做了论证，结论是待翻译的输入句子越长，翻译质量下降越厉害。

image

image

image

image

image

image

image

   可以看到，attention的提升效果还是很明显的，尤其是在长句子上，RNNsearch-50甚至在更长的句子上表现也比较平稳。

hard attention

   Kelvin等人在图像主题生成中提出了soft attention 和 hard attention 两个概念，上面提及的是soft attention，soft 和 hard attention 是相对的，soft attention 是decoder每次输出都会对encoder端的所有hidden state 都计算权重，并且每个hidden state 的权重是不一样的，而hard attention 每次只关注一个位置，论文将要关注的位置 作为一个变量，让模型自己去在生成主题的时候应该关注哪个位置，关注的位置对应取值为1，其他位置取值为0，也就是一个one-hot的向量。一个显而易见的问题就是，将one-hot放到网络里面是不可微的，然后作者就做了一系列的转换，这个在实际实施过程中还是比较麻烦的。

image

   作者将这两个类型的attention应用于Image Caption Generation，均取得了不错的效果，其中hard attention 比soft attention 要好那么一丢丢。

global attention

   Luong等人同样也是从如何更好地生成动态的context向量C入手考虑，在论文《Effective Approaches to Attention-based Neural Machine Translation》 提出了global attention 和 local attention。 global attention其实跟soft attention 是一样的（虽然论文提及的global attention 跟上面soft attention的有点细微差别，这里使用的是stacking LSTM，上面提及的soft attention 是用双向GRU，并且在计算 上也做了一点点简化，但本质是一样的）

image

local attention

   global attention存在的一个明显问题就是，对于每一个target word 都需要重新对 encoder 的所有hidden state 计算一遍权重，计算开销大效率低，其实在对一些长句子甚至是长文档做翻译的时候，每翻译一个词并不需要将整个句子或者整个文档都考虑一遍的，一般只需要关注正在翻译词语附近的词就行了。怎么把目标词语附近范围划分出来呢，论文提出的local attention对于每个target word 都生成一个对齐位置 ，context向量 从窗口 中的隐藏状态加权求和得到，位置 的挑选有两种方法，一种很简单，直接令 就ok了。 另一种方法是将 也作为目标进行预测，这样模型就有了两个任务，在预测decoder输出的时候也预测生成 所需要的位置 。 local attention 可以认为是hard attention 和 soft attention 的一种结合，这样的方式使得计算量更小，并且反向传播是可微的。

image

self attention

   上面提及的attention都是encoder和decoder结合的，重点关注对于输出有利的输入，而尽量忽略对输出没什么影响的输入，这对于处理序列对序列问题是非常适合的。而self-attention 顾名思义就是自己对自己做注意力，self attention 是论文Hierarchical Attention Networks for Document Classification提出的，self attention 其实跟传统的attention 是非常相似的，区别在于计算score的时候，不考虑decoder了，而是引入一个参数W，这个参数可以是一个向量也可以是一个多层的线性网络层，会跟着网络的其他参数一起学习，也是不统一的，anyway，最终生成的结果是，输入的每个隐藏状态都有一个对应的数值score。比如将 喂入RNN，得到对应的隐藏状态 ，如果隐藏状态向量的维度为 ，只要引入一个大小为 的参数w，让 分别与 做内积，最后就会得到 个标量，后面的softmax还有加权求和跟传统的attention 是一样的。

image

image

image

   这个是从网上找到图，很清晰。query,key,value在不同的场景下取值不一样，以翻译为例，seq2seq中的attention是对于decoder端的每一个target word 的隐藏状态 与encoder端的输入的所有隐藏状态做一个match 函数得到对应评分，然后对评分softmax得到权值，将隐藏状态与权值加权求和得到向量 ，这里可以将decoder端的每一个target word 的隐藏状态看作是query，encoder端的输入的所有隐藏状态看作是key,通过计算query和各个key之间的匹配程度，得到key对应的value权重系数，然后对value加权求和得到attention值，这里key=value，都是encoder端的隐藏状态。如果是self attention，那么query=key=value。

multi-head attention

   要讲清楚multi-head attention 需要先了解下 scaled dot product attention。跟常规attention是将RNN的隐藏状态作为输入不一样，这里的query、key、value 不是RNN的隐藏状态，而是输入的word的embedding向量。首先，我们一个包含 个词的句子 作为输入，经过一个embedding层得到每个词的词嵌入向量 ，因为是self attention，query=key=value，对于某个query 要计算这个query对应的attention value 的话，是将 与所有的key做相似度计算得到对应的value权重系数，然后对value加权求和得到attention值

image

这是单个query的情况，对于所有的query，可以将 堆叠起来一起计算

image

为了防止内积过大，对内积做了 的缩放，这就是scaled dot product attention了。

image

image

在encoder-decoder连接层的attention有一点点不一样的地方就是，query是decoder端上一时刻的隐藏状态，而key和value是来自于encoder端的输出。

transformer

   首先强推一篇文章The Illustrated Transformer，这篇文章像剥洋葱一样将transformer从外到里一层一层剥开来讲解，写的非常赞。
   transformer中使用了大量的attention。论文中的transformer由堆叠的encoder和decoder组成，encoder 下由6个子编码器组成，而每一个编码器的第一层是一个multi-head self attention，第二层是一个简单的全连接前馈神经网络。decoder的层级结构基本一样，也是由6个子解码器组成，但在multi-head self attention 和前馈神经网络层之间会有一个attention层，以便更多地关注解码和编码特征向量之间的关系。

image