之前写过一篇Attention is all you need的论文笔记. 回看时感觉内容不够清晰并且存在理解问题.

Transformer 主要分为encoder和decoder两个部分, 其中主要模块是multi-head attention层. 这些都是比较广为人知的了, 这一篇就来扣一下细节吧.

Attention

论文中提到的两类attention层: dot-product attention 以及 additive attention. 两者区别就在于用于得到最后相似度矩阵的K,Q矩阵匹配过程的计算方式不同. dot-product 采用的是我们常用的点积, 对应到多个tokens构成的矩阵也就变成了矩阵乘法, 最后得到的是n*n维的score矩阵分别代表不同token之间的兼容性相似性或者说匹配性. 同时softmax操作不改变矩阵的维度, 仅仅是针对其同一行(dim=1)的值进行归一. additive attention则是利用一层前馈网络而非内积来代表兼容性函数 score = f(K, Q) 

根据论文表述, 两种方法在token维度较低的时候效果差距不大, 但是维度变高时additive会好一些. 作者认为主要原因可能是内积中的求和操作使得最终得到的score值的方差随token维度增加而增加, 从而导致经过softmax后向量中某些值变的很极端接近0和1, 使得最终梯度变的trivial.

那么为了解决作者认为的这个潜在问题, 最直观的方式就是在进行softmax前对score进行放缩, 根据内积求和数等于矩阵K的第二个维度, 那么只要放缩sqrt(K的channel维)就可以使得方差缩小K的channel维倍, 从而实现了对方差大小的一个限制.

最终这种基于dot-product 和缩放操作的attention称为scaled dot-product attention.

具体公式如图

Multi-attention vs self attention

self attention就是上面所讲的attention层, 其参数主要是从tokens获得QKV矩阵的线性层中的参数.

而multi-attention和self-attention的关系就像卷积层和单个kernel的关系. 说白了就是用不同的attention层处理同一组tokens, 并最后将所得到的多个新tokens拼接(concatenate)并再过一个线性层做维度还原(保持tokens维度在attention层前后一致). 这里其实论文提了一句:

"Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions. With a single attention head, averaging inhibits this."

实际上, 最后得到的多组tokens, 我们按第二个维度(dim=1)进行拼接后, 所经过的线性层实际上是一个维度映射(坐标系转换), 所以这里的操作和简单把不同组tokens求平均是不等价的, 求平均只是这种变化的一种特例.

Position-wise Feed-Forward Networks

以前看的时候总觉得feed forward是最简单的, 没什么东西, 但是实际上这里还是有个细节的, 那就是它是position-wise的. Position-wise的意思的就是不同token是分别采用同一个线性层进行计算的, 这里包含的一个信息就是并行, 既然不同token计算过程不再依赖那么实际上彼此间也不需要像attention层等待同步. 所以当我们attention层通过矩阵乘法在GPU上并行后, 此处的feed forward仍然可以保留并行属性.

feed forward 具体计算方法

也就是两个线性层中加一个ReLU, 考虑到和卷积操作的类似, 也可以理解为核大小为1的两层卷积.

Positional Encoding

目的是考虑到attention并行机制忽视了tokens的位置和顺序信息, 那么为了保留这部分信息, 就需要我们人为添加进去. 具体而言, positional encoding信息不管是在transformer的encoder部分还是decoder部分都是在模型输入处添加进去的, 并且设置维度和tokens在模型中固定的维度也一样, 仅仅是把这个encoding值加到原始tokens值中去即可.

图中两个太极圈就是PE添加处

计算positional encoding的方式应该有不少, 可学习的或者固定函数生成的. 论文中作者使用的是余弦函数, 且把位置和维度都当作参数输入了, 维度决定周期, 位置决定相位.

具体公式

作者表述这种方式可以使得当相位差固定的时候, 两个PE函数之间是线性关系(其实就是三角函数分解最后系数因为相位差固定导致得到三角函数值也固定, 所以就成了线性关系). 那么这种关系可能容易被模型所捕获.

Decoder

那么不得不说decoder要想理解还是要看代码吧. 

decoder首先逻辑上是auto-regression的, 也就是会把自己的输出当作下一次的输入, 循环计算从而得到最终的序列. 所以每次decoder的输入都是之前的输出, 而最开始的输入则是一个启动标记(start). 

架构上来看decoder的单一模块比encoder的单一模块中间要多一个multi-head attention层, 这一层以decoder前一层输出的tokens计算Q矩阵, 而利用encoder已经计算得到输出的tokens计算K和V.

细节上, decoder的multi-head attention层在计算score的时候会有mask操作. 这个操作就是将我们QK矩阵乘法得到的矩阵中position大于自己的位置设为负无穷(-inf), 这样经过softmax时就会使得这些position对应的值为0, 从而避免经过attention层新得到的token会被其身后其他tokens所影响.

总结

transformer大体流程网上一搜就有, 但是具体细节对于理解还是至关重要.