[Paper Share - 5]DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations

导读
这篇文章是汤晓鸥，王晓刚团队的作品，收录于CVPR2016，可能又点老了，不过，对还没入门的我来说，看一看还是有收益的。文章主要说两个方面：其一，发布了一个比较大的数据集------DeepFashion（包含超过80万的图像，带有属性，衣服关键点和同一件衣服在不同场景中的标注）；其二，提出一个深度模型------FashionNet，用于服饰检索。

1.Introduction

想要做深度学习，第一个会遇到的问题就是数据不够。在一份分类，属性预测，服饰检索这个领域里，前人已有些工作，但是数据集不是不公开就是数据集太小。另一方面，服饰检索会遇到几个挑战：1，衣服款式，文理，剪裁多种多样;2，服饰存在变形，和遮掩；3，服饰一般有很多不同的场景。比如展柜里，网上商店。没有一个强大的数据集，很难推动这个研究的发展，并且很难对比各个算法的优劣。因此，本文提供了一个比较大型的数据集------DeepFashion。这个数据集有3个特点：1，全面，数据集中的图片包含了丰富的信息，其中有类别，属性，关键点，和不同场景中的同一款衣服的标注（cross-domain pair correspondences）；2，规模大，超过80万的图片，是前人数据集的两倍。3，开放，数据集对外开放。

2.The DeepFashion Dataset

2.1 图像来源

这部分主要讲述图像的来源。数据集有两个来源：1，购物网站；2，Google Image；

2.2 图像的标注

数据集主要包含一下几个标注。

50个类别，1000个属性，其中属性分成5个组（texture, fabric, shape, part, and style），下图展示了一些样例。
关键点，比如对于上衣，有六个关键点，分别在领子左右，袖子左右，下摆左右。
映射对（Pair Annotation）不同场景中的同一件衣服对，比如，网店的，街上拍的，给出对应关系。

image.png

2.3 Benchmark

主要从三个方面来评价算法的表现。

类别和属性的预测
In-Shop衣物检索。这个是用网店的衣物图去检索同样来源网店的图片。
Consumer-to-Shop衣物检索。这个是根据消费者子集拍的照片去检索网店的衣物。这个比较有挑战。也是最有应用价值的点。

3. Our Approach

网络结构
FashionNet使用VGG-16作为基础网络，然后，在最后一层接上3个分支，red，green，blue。如下图所示。

网络示意图

红色分支，用于提取图像的全局特征。
绿色分支，用于提取关键点的特征。
上面两个特征进行融合，然后用于后面的分类，属性预测和triplet训练（衣服pair的训练）。
蓝色分支，用于特征点的定位，并给出特征点是否可见（补充一点，数据集在标注的时候，即使特征点被遮挡，也不会被标出来，但是会指明被遮挡。）

Forword Pass
前向计算时，分三步走：

对于输入先计算蓝色分支，得到预测关键点的位置。
将预测的关键点信息用于绿色分支，提取关键点的特征，这里有一个关键点poolin 层。下图给出。
全局特征和关键点特征进行融合，concate，然后用于分类，和属性分类。

关键点Pooling层如下：

image.png

Backword Pass
反向传播时，考虑5个损失函数的加权：1.关键点的回归loss，2.关键点是否可见的softmax loss，3.类别的softmax loss，4.属性的交叉损失，5.同一件衣服的triplet loss。
训练时，把蓝色分支作为主要任务，红色分支和绿色分支作为辅助任务。所以，关键点的损失和关键点是否可见的损失，将会被加重。