Introduction
之前方法的主要问题:
- 注意力机制只关注模态间的相互影响(object to word)
- 目前的模型都太小可能无法完全理解 visual object 之间的复杂关系
- region-based visual features 可能无法涵盖图中所有的 object,不足的视觉表达导致无法产生精准的 caption
针对前两点:
- 使用MT(Multimodal Transformer)model for image captioning,与CNN-RNN
captioning 模型不同,MT不使用RNN,完全依赖注意力机制,使用深度 encoder-decoder来同时获得每个模态的 self-attention 和跨模态的 co-attention
针对最后一点:
- 使用 multi-view feature learning 以适应对齐和非对齐的 multi-view visual features
Multimodal Transformer
The Transformer Model
Transformer的核心构成是scaled dot-product attention
点积attention包含一个query和keys与values的集合,计算query与所有keys的点积,再除以维度d的开方,然后使用softmax得到attention weights作用于values上
在实现中,keys和values是两个的矩阵和,m个query由的矩阵表示,attention function表示为:
的矩阵表示的attended features
multi-head attention(MHA)
multi-head attention可以使模型关注不同representation子空间的不同信息
multi-head包含h个平行的head,每一个对应一个独立的scaled点积attention function,multi-head attention functions的attended features F表示为:
其中的是第个head的投影矩阵,的是各heads的信息相加的output投影矩阵。是各head输出的features的维度,为了防止模型过大,被设置为
feed-forward networks(FFN)
FFN的输入来自MHA,使用两个包含ReLU激活函数和dropout的线性层进一步transforming:
Transformer是一个深度端到端架构,以encoder-decoder的策略堆积attention blocks:
L是堆叠的attention blocks的数量,encode和 decoder中的blocks数量相同
MHA学习考虑两个输入特征之间相互作用的attended features,FFN对attended features进一步非线性处理。在encoder中,每个attention block是self-attentional的,queries、keys和values来自于同一个输入特征,而decoder中的attention block包含一个self-attention层和一个guided-attention层,用encoder最后一个attention block的输出来guide attention learning
为了便于优化,跳层连接和layer normalization被用于MHA和FFN
Multimodal Transformer for Image Captioning
MT架构被描述为由image encoder和textual decoder组成
image encoder输入一张图像,使用预训练的Faster R-CNN提取region-based visual features,然后送入encoder通过self-attention learning获得attended visual representation
decoder输入attended visual features和previous word,循环预测next word
MT架构的流程图:
图中[s]是caption开始或结束的界定符
Image Encoder
输入图像先经过在Visual Genome数据集上预训练的Faster R-CNN提取一组visual features。然后根据检测到的目标的置信度降序排序,并取前m个目标。每个目标区域的卷积特征再经过一个mean-pooling得到一个维的feature vector。最终,这个图像由的特征矩阵表示。
输入进一个全连接层调整维度,使之与encoder匹配,再输入进个attention blocks的encoder。第个attention block 将第个attention block的输出作为输入,然后输入:
每个包含独立权重的MHA和FFN
Caption Decoder
输入caption首先进行tokenized,并限制到最大长度为n个词,每个词由300维的词向量表示,词向量使用在大规模语料库上预训练的300-D GloVe word embedding得到
一个caption句子由的特征矩阵表示,对于小于16个词的captions使用0-padding填充至最大尺寸
word embeddings输入一层有个hidden units的LSTM,得到的caption representations为的矩阵
训练阶段
caption decoder的输入来自image encoder和caption representations
给定attended image features 以及caption input features ,包含个attention blocks的caption decoder使用和encoder类似的策略学习去预测attended word features:
其中每个包含两个MHA和一个FFN,第一个MHA在caption words上进行self-attentions的modeling,第二个MHA在caption words上学习image-guided attention
需要注意的是self-attention只能attend输出句子中较早的位置,并且是通过在计算self-attention的softmax步骤之前masking后续位置来实现的,因此会产生一个的三角mask矩阵M。
输出特征输入到一个线性word embedding层,将features transform到维空间,是词库的大小。随后,在每个词计算下一个词的可能性的时候都使用softmax交叉熵损失。
测试阶段
caption通过word-by-word的序列方式生成。当生成第个词时,输入特征表示为 ∈ 维空间,其中0对应0-padded feature。input caption features和image features输入模型得到词库中可能性最大的词。预测得到的词随后被整合进inputs,进行循环生成新的inputs 。
为了增加生成captions的多样性,在test阶段还引入了beam search策略
Image Encoder with Multi-view Visual Representation
使用region-based local multi-view features来表示图像,每个object detector都被当做是one single view
不同detectors提取到的objects是unaligned的,为了能够在不同的views中学习相关性,前述image encoder模型进一步演化出了两个multi-view image encoder模型,Aligned Multi-View(AMV)image encoder和Unaligned Multi-View(UMV)image encoder
Aligned Multi-View Image Encoder
AMV使用一个简单的策略从不同的detectors中获得aligned multi-view features:两阶段特征提取网络
给出M个预训练的Faster R-CNN,首先选出一个检测器作为primary模型来生成对于所有views的unified bboxes,不同primary模型的选择对于生成特征的质量有一定的影响,这里直接选择了表现最好的模型来作为primary
随后,unified bboxes输入进不同的Faster R-CNN模型提取特征。实际上这些Faster R-CNN模型以及退化到各自的Fast R-CNN版本,以pre-computed bboxes作为输入,输出的multi-view features就是aligned的,这样每对multi-view features就与图像中的一个object相对应
假设生成了m个unified bboxes,第个view提取的features可以被表示为的矩阵,是features的维度。通过在列方向上的concatenate就可以得到的multi-view features X。这些aligned multi-view features可以代替前面提到的single-view feature,并且可以无缝输入至image encoder。AMV的流程如图:
其中的AMV Image Encoder和之前提到的image encoder是一样的
但是AMV使用unified bboxes的策略可能对multi-view features的多样性不利,对encoded image features的representation 能力会造成限制。此外,AMV隐式约束了每个view的目标检测器为Faster R-CNN,既可以使用pre-computed 的bboxes也可以使用built-in的RPN。这限制RetinaNet或YOLO等一阶段模型的使用。
Unaligned Multi-View Image Encoder
为了解决AMV的限制,提出了更generalized的UMV,可以直接整合不同目标检测器的unaligned multi-view features:
第个view的visual features可以由的矩阵表示,是features的数量,是feature的维度,不同的view可以有不同的和。Unaligned multi-view features将送入一个encoder同时进行aligned和fused。这里将同样选择其中一个view作为primary,primary输出的features将guide其他views的attention learning。其他views的attended features将被整合进primary view的features来输出output features。
给出multi-view features ,它们先线性映射至统一的维度d,变换后的representations为。假设是primary view的features,这里有M-1个MHA模块去对和之间的相互作用进行modeling:
同有相同的大小的是第个view的attended output features,并且可以通过element-wise summation与进行整合。这里的MHA可以被理解为从其他views的image features上学习image-guided attention。
最后所有的和整合在一起得到,再Normalize之后输入FFN,得到transformed representations
值得注意的是,还可以对UMV模型进行深度叠加,以了解不同views之间更准确的相互作用,从而输出更具鉴别性的视觉特征。
Experiments
Datasets
提取bottom-up attention的视觉特征的目标检测器使用Visual Genome数据集预训练。
MSCOCO
原本的83k training images,40k validation images 和 83k test images 使用 Karpathy splits分为113k training images,5k validation images 和 5k test images
Visual Genome
使用object和attribute annotations 预训练 bottom-up-attention 模型,同样使用Karpathy splits分为98k training images,5k validation images 和 5k test images。由于Visual Genome中部分数据与MSCOCO中重叠,validation 和 test splits中的内容需要仔细检查,避免影响。同时数据进行清理和筛选后使用1600个object类和400个attributes进行训练。
Implementation Details
captions将进行一系列预处理:caption sentences首先转化为小写然后tokenized为包含空格的words,丢弃预训练GloVe词库中出现次数少于5次或不存在的稀有词之后得到9343个words。通过GloVe词库,将caption中的每个word表示为word embedding vector。词库之外的words被表示为全零向量。
预训练的bottom-up-attention模型用于检测object,并从检测到的object中抽取视觉特征。对于M=3时的multi-view image representation,分别训练三个不同backbone(ResNet-101,ResNet-152和ResNeXt-101)的Faster R-CNN模型。在每个模型中,每张图像由置信度最高的100个object表示,每个object又由detected region的最后卷积特征经过mean-pooling得到的向量表示。
输入的image feature维度和输入的caption feature维度分别是2048和512。MHA中latent的维度为512,head的数量为8,每个head的latent维度。encoder和decoder中attention block的数量。
训练MT模型时使用Adam solver和大小为10的batch size。初始学习率为,是从1开始的当前epoch数。在6个epochs之后,学习率每3个epochs减半。所有模型现使用交叉熵损失训练15个epochs,然后使用self-critical损失继续训练10个epochs以减轻交叉熵优化的exposure bias。