本文基本参考【深度学习YOLO V1】深刻解读YOLO V1（图解），不过原文有大量图片不能显示，所以我在这里重发一下，侵删。

YOLO是单阶段目标检测算法。

YOLO将图像分成 SxS个网格，由目标中心所在的网格预测该目标。

• 每个网格要预测B个bounding box，每个bounding box除了要回归自身的位置之外，还要附带预测一个confidence值。
  这个confidence代表了所预测的box中含有object的置信度和这个box预测的有多准两重信息，其值是这样计算的：

  
  
  image

  其中如果有object落在一个grid cell里，第一项取1，否则取0。 第二项是预测的bounding box和实际的groundtruth之间的IoU值。

• 每个bounding box要预测(x, y, w, h)和confidence共5个值，每个网格还要预测一个类别信息，记为C类。则SxS个网格，每个网格要预测B个bounding box还要预测C个categories。输出就是S x S x (5*B+C)的一个tensor。
  注意：class信息是针对每个网格的，confidence信息是针对每个bounding box的。

举例说明: 在PASCAL VOC中，图像输入为448x448，取S=7，B=2，一共有20个类别(C=20)。则输出就是7x7x30的一个tensor。
整个网络结构如下图所示：

image.png

网络设计：

image

网络结构借鉴了 GoogLeNet 。24个卷积层，2个全链接层。（用1×1 reduction layers 紧跟 3×3 convolutional layers 取代Goolenet的 inception modules ）

• 在test的时候，每个网格预测的class信息和bounding box预测的confidence信息相乘，就得到每个bounding box的class-specific confidence score:

  
  
  这里写图片描述

  等式左边第一项就是每个网格预测的类别信息，第二三项就是每个bounding box预测的confidence。这个乘积即encode了预测的box属于某一类的概率，也有该box准确度的信息。

• 得到每个box的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS处理，就得到最终的检测结果。

3.YOLO的实现细节

• 每个grid有30维，这30维中，8维是回归box的坐标，2维是box的confidence，还有20维是类别。
  其中坐标的x,y用对应网格的offset归一化到0-1之间，w,h用图像的width和height归一化到0-1之间。

• 在实现中，最主要的就是怎么设计损失函数，让这个三个方面得到很好的平衡。作者简单粗暴的全部采用了sum-squared error loss来做这件事。
  这种做法存在以下几个问题：
  第一，8维的localization error和20维的classification error同等重要显然是不合理的；
  第二，如果一个网格中没有object（一幅图中这种网格很多），那么就会将这些网格中的box的confidence push到0，相比于较少的有object的网格，这种做法是overpowering的，这会导致网络不稳定甚至发散。
  解决办法：

  • 更重视8维的坐标预测，给这些损失前面赋予更大的loss weight, 记为
    image

    在pascal VOC训练中取5。

  • 对没有object的box的confidence loss，赋予小的loss weight，记为
    image

    在pascal VOC训练中取0.5。

  • 有object的box的confidence loss和类别的loss的loss weight正常取1。

• 对不同大小的box预测中，相比于大box预测偏一点，小box预测偏一点肯定更不能被忍受的。而sum-square error loss中对同样的偏移loss是一样。
  为了缓和这个问题，作者用了一个比较取巧的办法，就是将box的width和height取平方根代替原本的height和width。这个参考下面的图很容易理解，小box的横轴值较小，发生偏移时，反应到y轴上相比大box要大。

• 一个网格预测多个box，希望的是每个box predictor专门负责预测某个object。具体做法就是看当前预测的box与ground truth box中哪个IoU大，就负责哪个。这种做法称作box predictor的specialization。

• 最后整个的损失函数如下所示：

  
  
  这里写图片描述

  这个损失函数中：

  • 只有当某个网格中有object的时候才对classification error进行惩罚。
  • 只有当某个box predictor对某个ground truth box负责的时候，才会对box的coordinate error进行惩罚，而对哪个ground truth box负责就看其预测值和ground truth box的IoU是不是在那个cell的所有box中最大。

• 其他细节，例如使用激活函数使用leak RELU，模型用ImageNet预训练等等。

大致流程：

image

1. Resize成448448，图片分割得到77网格(cell)

2. CNN提取特征和预测：卷积不忿负责提特征。全链接部分负责预测：a) 772=98个bounding box(bbox) 的坐标[图片上传失败...(image-92357f-1561365029580)]

   和是否有物体的confidence 。 b) 7*7=49个cell所属20个物体的概率。

3. 过滤bbox（通过nms）

训练：

预训练分类网络： 在 ImageNet 1000-class competition dataset上预训练一个分类网络，这个网络是Figure3中的前20个卷机网络+average-pooling layer+ fully connected layer （此时网络输入是224*224）。

训练检测网络：转换模型去执行检测任务，《Object detection networks on convolutional feature maps》提到说在预训练网络中增加卷积和全链接层可以改善性能。在他们例子基础上添加4个卷积层和2个全链接层，随机初始化权重。检测要求细粒度的视觉信息，所以把网络输入也又224224变成448448。见Figure3。

• 一幅图片分成7x7个网格(grid cell)，某个物体的中心落在这个网格中此网格就负责预测这个物体。
  image

• 最后一层输出为 （7x7）x30的维度。每个 1x1x30的维度对应原图7x7个cell中的一个，1x1x30中含有类别预测和bbox坐标预测。总得来讲就是让网格负责类别信息，bounding box主要负责坐标信息(部分负责类别信息：confidence也算类别信息)。具体如下：

  • 每个网格（1x1x30维度对应原图中的cell）要预测2个bounding box （图中黄色实线框）的坐标（)，其中：中心坐标的 相对于对应的网格归一化到0-1之间，w,h用图像的width和height归一化到0-1之间。 每个bounding box除了要回归自身的位置之外，还要附带预测一个confidence值。 这个confidence代表了所预测的box中含有object的置信度和这个box预测的有多准两重信息：confidence = 。其中如果有ground true box(人工标记的物体)落在一个grid cell里，第一项取1，否则取0。 第二项是预测的bounding box和实际的ground truth box之间的IOU值。即：每个bounding box要预测
    ,共5个值 ，2个bounding box共10个值，对应 1x1x30维度特征中的前10个。

image

image

• 每个网格还要预测类别信息，论文中有20类。7x7的网格，每个网格要预测2个 bounding box 和 20个类别概率，输出就是 7x7x(5x2 + 20) 。 (通用公式： SxS个网格，每个网格要预测B个bounding box还要预测C个categories，输出就是S x S x (5*B+C)的一个tensor。 注意：class信息是针对每个网格的，confidence信息是针对每个bounding box的）

image

测试：

Test的时候，每个网格预测的class信息 和bounding box预测的confidence信息( ) 相乘，就得到每个bounding box的class-specific confidence score。

image

• • 等式左边第一项就是每个网格预测的类别信息，第二三项就是每个bounding box预测的confidence。这个乘积即encode了预测的box属于某一类的概率，也有该box准确度的信息。
    image
    image

  • 对每一个网格的每一个bbox执行同样操作： 7x7x2 = 98 bbox （每个bbox既有对应的class信息又有坐标信息）
    image
    image
    image

• 得到每个bbox的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS处理，就得到最终的检测结果。
  image

4.YOLO的缺点

• YOLO对相互靠的很近的物体，还有很小的群体 检测效果不好，这是因为一个网格中只预测了两个框，并且只属于一类。

• 对测试图像中，同一类物体出现的新的不常见的长宽比和其他情况是。泛化能力偏弱。

• 由于损失函数的问题，定位误差是影响检测效果的主要原因。尤其是大小物体的处理上，还有待加强。