R-CNN: Rich feature hierarchies for accurate object detection and semantic segmentation总结

摘要

在对象检测方面，性能最好的方法是复杂的集成系统，通常将多个低层次的图像特征与高层次的上下文信息结合。在本文中，我们提出了一种简单且可以扩展的检测算法，相对于2012年的VOC最佳结果（平均精度为53.3%），该算法可以提高平均精度(mAP)的30%以上。我们的方法结合了两个关键点：

将大容量卷积神经网络应用于自下而上的区域进行建议，以获得目标的定位和分割。
当标注的训练数据稀少时，对辅助任务进行预训练，然后进行特定区域的微调，从而获得显著的性能提升。

由于我们将区域建议法和CNNs结合，所以该方法称之为R-CNN: 具有CNN特征的区域法。我们还将R-CNN与OverFeat（近期提出的一个基于类似CNN架构的滑动窗口检测器）进行比较，我们发现，R-CNN在200级的ILSVRC2013检测数据集上的性能超过了OverFeat。

完整代码：http://www.cs.berkeley.edu/

引言

ILSVRC 2012研讨会期间，ImageNet结果的重要性引起了激烈的争论。中心问题可以归结如下：CNN对ImageNet的分类结果在多大程度上对PASCAL VOC挑战的目标检测结果进行了概括？
我们通过缩小图像分类和对象检测之间的差距来回答这个问题。这篇论文首次证明，在PASCAL VOC数据集上，相比于基于更简单的HOG特征的系统相比，CNN可以产生更好的目标检测效果。为了获得这个结果，我们主要关注两个问题:

使用一个深度网络对目标进行定位
在少量的标注数据上训练一个高容量的模型

与图像分类不同，检测需要在图像中定位很多对象。一种方法是将定位问题视为一个回归问题（效果可能不好）。另一种方法是构建一个滑动窗口检测器，CNN被用于这种情况下已经有20年了，通常是在有约束的对象上，比如人脸和行人。为了保持高分辨率，这些CNNs模型通常只有两个卷积层和池化层。我们考虑过采用滑动窗口法，然而，我们的网络中有5个卷积层，每个卷积层有很大的接收域（195x195）和步长（32x32），这使得在滑动窗口中精确定位成为了一个公开的挑战。
相反，我们通过在“识别使用区域”范例内进行操作来解决CNN本地化问题，这个方法在目标检测和语义分割都是很成功的。在测试时，我们的方法在输入图像上产生大约2000个独立的类别建议区域，使用CNNs从每个建议区中提取一个固定长度的特征向量，并使用特定的线性SVMs对每个区域进行分类。我们使用了一个简单的技术（affine image warping，仿射图像变换？）从每个建议区域计算固定大小的CNN输入，而不考虑该区域的形状。图1概述了我们的方法，并突出了我们的一些成果。

图1 a.取得一张输入图像，b.提取大约2000个自底向上的建议区域，c.使用大的卷积在每个区域上计算特征，d.使用特定的线性SVMs分类器对每个区域分类

目标检测面临的第二个问题是标记数据的不足，同时没有足够的可用数据来训练一个大型的CNN。传统的解决方法是使用无监督的预训练，然后进行监督式的微调。本文的第二个贡献是在大型辅助数据集上进行监督预训练，然后在小数据集上进行特定领域的微调，这是在数据不足时学习高容量CNNs的有效范例。在我们的实验中，对检测的微调将mAP提高了8个百分点。经过微调后，我们的系统在VOC 2010上达到了54%的mAP。

对象检测与R-CNN

我们的目标检测系统由三个模块组成。第一个模块产生了类独立的区域建议，这些建议定义了探测器可用的候选探测集。第二个模块是一个大的卷积神经网络，从每个区域提取固定长度的特征向量。第三个模块是一组类特定的线性SVMs。

模块设计
区域建议。最近很多文章都提供了一些用来产生类独立的区域建议。因为R-CNN对于特定区域建议方法是不可知的，所以我们使用选择性搜索来实现与先前检测工作的受控比较。
特征提取。我们使用Krizhevshky等所描述的CNN的Caffeine实现，从每个区域建议中提取一个4096维的特征向量。特征向量通过前向传播一个减去均值的227x227的RGB图像，通过了5个卷积层和2个全连接层。
为了计算区域建议的特性，我们必须首先将该区域的图像数据转换为与CNN兼容的形式（其体系结构需要一个固定的227x227像素大小的输入）。在许多可行的任意形状的转换中，我们选择了最简单的。无论候选区的大小或纵横比如何变化，我们都会将其周围的紧密边界框中的所有像素扭曲为所需的大小。在变形之前，我们扩张紧密的边界框，以便在扭曲图像大小时，在原始框的周围有精确的p像素的扭曲图像上下文。图2显示了扭曲训练区域的随机采样。

图2
测试时间检测
在测试时，我们对测试图像进行选择性搜索，以提取大约2000个区域的建议。我们把每一个天都歪曲了，使用CNN进行前向传播计算出特征向量。然后，对于每一个类，我们使用为该类训练的SVM来获得每个提取的特征向量的得分。考虑到图像中所有的得分区域，我们对每个独立的类进行了贪婪的非极大值抑制，如果它与较高得分的选定区的IOU（intersection-over-union）大于已学到的阈值，那么它就会拒绝一个区域。
运行时分析。两种特性使得检测效率更高。首先，所有CNN参数在所有类别中共享。其次，相比于其它的方法，由CNN计算出的特征向量是低维的。这种共享使得计算区域建议和特征所花费的时间在所有类上是平摊的。唯一的类特定计算是特征和SVM权重以及非最大值抑制之间的点积。在实践中，图像的所有点积都被分配到单个矩阵和矩阵的相乘中。特征矩阵通常是2000x4096，SVM的权重矩阵统通常是4096xN，其中N是总的类别数。
这一分析表明，R-CNN可以扩展到数千个对象类上而不需要使用近似技术。因为即使有100k个类，在现代的多核CPU上执行矩阵乘法只需要10秒钟。
训练
监督训练。我们在一个大型辅助数据集中使用图像级注释对CNN进行了有区别的预训练。简言之，我们的CNN在ILSVRC2012获得的top-1错误率为2.2%。
特定领域的微调。为了使得CNN可以适合新的领域（扭曲建议窗）和任务（检测），我们采用随机梯度下降法训练CNN的参数，除了用一个随机初始化的（N+1)-way 分类层代替CNN的ImageNet-specific 1000-way分类层（其中N是对象类的数量加上背景的1），CNN的其它架构基本没有变。
对象的类别分类。考虑训练一个检测汽车的二分类器。很显然一个紧紧围绕汽车的图像区域应该是一个正样本。同样，与汽车无关的背景区域应该是一个负样本。难点在于如何标记一个与汽车部分重叠的区域。我们使用IOU重叠阈值来重新解决这个问题，低于这个阈值的区域将被视为负样本。我们取重叠阈值为0.3，它是在验证集上从{0,0.1,...,0.5}进行网格搜索得到的。我们发现仔细选取这个阈值很重要。