YOLOv1

时间：2019-08-03 16:20:15 阅读：103 评论：0 收藏：0 [点我收藏+]

论文信息

Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi. You Only Look Once: Unified, Real-Time Object Detection. CVPR 2016.

http://arxiv.org/abs/1506.02640

前言

YOLOv1基本上可以被认定为神经网络新时代one stage的祖宗, 其创新点若干, 或者可以说作者在此新模型时(2015前后)并没有用受前任影响太多, 是一项开天辟地式的工作.

我本打算直接整理YOLO9000的内容, 但考虑到YOLOv1早晚要整理且当时阅读时自己能力有限可能并没有完全理解,便当复习重新看了一遍.

Introduction

作者从人类的glace说起, 我们看物体大多是只看一次(You Only Look it Once, YOLO for short)就会记得其特点, 因此作者希望以此文出发点构建一种新的模型.

当时的object detection模型大多是从classifier通过微调迁移过来. 以R-CNN为例是先通过proposal再进行classification, 对此结果的bbox和class进行refine. 这种pipeline方法是低速且难以优化的, 因为它将各部分分离.

作者提出一种简单的直接regression的方法, 此方法直接从各个pixel与bbox及class probability建立联系.

简易框架如图所示:

技术图片

一个单卷积网从一系列box(后文会详细解释)产生bbox和class probability, YOLO再用全图直接对其进行优化. 这样做有以下几点好处:

速度快, 不需要pipeline.
利用全图信息, 不容易将bg信息分错.
泛化性强, 可以从自然图像迁移到艺术图象检测中.

但YOLO精度还是不如当时的state-of-the-art水平, 且在小物检测仍有欠缺.

Unified Detection

此系统将图片划成\(S\ times S\)个grid, 当有物体的中心落到grid里时, 该grid cell就会对其有响应(牢记这一点).

每个grid cell都会预测\(B\)个bbox.

该bbox包含confidence score. 这个confidence score是根据预测类别和IOU综合确定的:
\[ condience = Pr(Object) * IOU_{pred}^{truth} \]
这里的\(Pr(Object)\)是指预测该bbox内有物体的把握, 如果预测里面没有物体则其为0, 同时confidence score也为0.

同时该bbox也包含\(x, y, w, h\)即用来确定位置尺寸的信息, 在bbox regression的资料会有介绍.

每个grid cell同时还还预测\(C\)个class的probability - \(Pr(Class_i|Object)\), 很容易看出这是指在有物体的情况的条件概率. 每个grid cell只预测一个set的class probability(这便是本模型的缺陷 - 一个cell只能预测一个物体, 如果存在多个物体就会预测失败, 在后来的模型中解决了此问题.). 此set不受bbox的数量\(B\)的影响.

因此综合考虑我们得到复合confidence prediction, 并利用概率理论简化此结果:
\[ Pr(Class_i|Object) * Pr(Object) * IOU_{pred}^{truth} = Pr(Class_i) * IOU_{pred}^{truth} \]
此最终的score对probability和bbox的位置进行了综合表示.

Network Design

网络结构是以GoogLeNet作为backbone, 先用ConvNet提取feature, 后用fc预测probabilities和coordinates, 结构如下图:

技术图片

同时作者还提出了一个更快的Fast YOLO以应对极致的速度追求, 此网络主要特点是ConvNet使用了更少的filter, 其余基本与YOLO相同.

Training

对backbone先预训练, 作者了解到Ren et al.的研究, 又加入了4个卷积层和2个fc层.

最终输出probabilities和coordinates, 作者对bbox的w, h用图片的w, h对其归一化, 并将x, y用对所在的grid cell相对位置将其归一化, 所有激活层使用leakyReLU激活:
\[ \phi(x) = max(x, 0.1x) \]
使用sum-squared error进行优化. 作者说又由于对每个不包含物体的grid cell太多, 即使其score接近0, 这些不含物体的cell仍会统治导数, 因此作者对其重新加权, 来降低不含物体cell的score(权重\(\lambda_{coord} = 5\)), 并提升含物体cell的score(权重\(\lambda_{noobj} = 0.5\)).

又因为小的变化对小尺寸的bbox影响应该比大尺寸的bbox更大, 因此作者将bbox的w和h用方根表示而非直接使用.

因为上文提到每个cell预测了\(B\)个bbox, 而这些bbox只有一个对物体有响应, 因此作者在loss中也只取score最高的那个bbox而不管此cell中其他的bbox的score.

那么综上考虑, 我们就得到了multi-part loss:
\[ \lambda_{\text{coord}}\sum\limits_{i = 0}^{S^2}\sum\limits_{j = 0}^{B}\mathbb{1}_{i, j}^{\text{obj}}[(x_i - \hat{x}_i)^2 + (y_i - \hat{y}_i)^2]\+ \lambda_{\text{coord}}\sum\limits_{i = 0}^{S^2}\sum\limits_{j = 0}^{B}\mathbb{1}_{i, j}^{\text{obj}}[(\sqrt{w_i} - \sqrt{\hat{w}_i})^2+(\sqrt{h_i} - \sqrt{\hat{h}_i})^2]\+ \sum\limits_{i = 0}^{S^2}\sum\limits_{j = 0}^{B}\mathbb{1}_{i, j}^{\text{obj}}(C_i - \hat{C}_i)^2\+\lambda_{\text{noobj}}\sum\limits_{i = 0}^{S^2}\sum\limits_{j = 0}^{B}\mathbb{1}_{i, j}^{\text{noobj}}(C_i - \hat{C}_i)^2\+ \sum\limits_{i = 0}^{S^2}\mathbb{1}_i^{\text{obj}}\sum\limits_{c \in \text{classes}}(p_i(c) - \hat{p}_i(c))^2 \]
latex公式用的不熟的朋友就等着哭吧, 这个公式我打了快10分钟, 它大概长这个样子...

$$
\lambda_{\text{coord}}\sum\limits_{i = 0}^{S^2}\sum\limits_{j = 0}^{B}\mathbb{1}_{i, j}^{\text{obj}}[(x_i - \hat{x}_i)^2 + (y_i - \hat{y}_i)^2]\+ \lambda_{\text{coord}}\sum\limits_{i = 0}^{S^2}\sum\limits_{j = 0}^{B}\mathbb{1}_{i, j}^{\text{obj}}[(\sqrt{w_i} - \sqrt{\hat{w}_i})^2+(\sqrt{h_i} - \sqrt{\hat{h}_i})^2]\+ \sum\limits_{i = 0}^{S^2}\sum\limits_{j = 0}^{B}\mathbb{1}_{i, j}^{\text{obj}}(C_i - \hat{C}_i)^2\+\lambda_{\text{noobj}}\sum\limits_{i = 0}^{S^2}\sum\limits_{j = 0}^{B}\mathbb{1}_{i, j}^{\text{noobj}}(C_i - \hat{C}_i)^2\+ \sum\limits_{i = 0}^{S^2}\mathbb{1}_i^{\text{obj}}\sum\limits_{c \in \text{classes}}(p_i(c) - \hat{p}_i(c))^2
$$

其中\(\mathbb{1}_i^{\text{obj}}\)在cell\(i\)中有物体时为1, 否则为0, 类似的\(\mathbb{1}_{i, j}^{\text{obj}}\)是指cell\(i\)中的第\(j\)th个bbox对物体有响应时为1, 否则为0.

也就是说loss只惩罚有物体的cell, 和有响应的bbox. 其余的参数细节见原文在此就不再赘述了.