分解的人物图片生成
摘要：
因为如前景、背景和姿势信息等不同图像因素之间的复杂的相互影响，使得生成新的并且真实的人的图片是一个具有挑战的任务。本文中，我们旨在基于一个新的两阶段的重构流水线来生成这样的图片，这个重构流水线学习前面提到的图像因素的分解表达，与此同时产生新的人物图片。首先，一个多分支的重构网络被提出，以用来将三个因素分解和编码到嵌入特征中，然后这些特征被结合起来用来重组输入的图片。其次，对应的三个映射函数以对抗的方式学习，用以分别对于每个因素将高斯噪声映射到学习的嵌入特征空间。使用提出的框架，我们可以控制输入图片的前景、背景和姿势，并且采样新的嵌入特征来产生这样的目标操作，这样提供了对于产生过程的更多控制。在Market-1501和Deepfashion数据集上的实验表明我们的模型不仅产生了真实的有新前景、背景和姿势的人的图片，而且也能控制产生的因素和修改内在的状态。另外一组在Market-1501的实验表明我们的模型对于行人重识别任务也有帮助。
这篇文章主要是提出，用两阶段的方法，来提取图片中各种因素，然后来生成新的图片，文章中两阶段的架构如下图所示：
第一阶段，用多个encoder提取多个图片因素所对应的feature，然后用decoder将提取的feature作为输入，重构原图。这阶段的模型会独立的训练，这样会得到输入feature，从feature还原到原图的decoder。
第二阶段，是训练一个映射函数（说白了就是训练一个神经网络），将高斯噪声作为输入，然后生成尽可能接近第一阶段的feature（采用对抗生成网络的训练方式，将真假feature输入分辨器）。
最终，用第二阶段训练的feature生成器，加上第一阶段训练的decoder，就可以生成新的图片。
以生成行人重识别的数据库的例子为例，第一阶段的三个因素（姿势，前景和背景）提取的网络结构如下图所示：
对于pose因素，就是一个encoder编码成feature，然后一个decoder解码feature，生成feature对应的pose数据。
对于图片的前景和背景部分，首先都是经过CNN提取到中间层的feature。
对于前景部分，由pose图得到的人的mask图和feature图相乘，得到前景的feature图，然后再使用7 Body Regions-Of-Interest(7 body ROI)的7个身体块，对于7个块，采用同一个encoder，编码成对应的feature（7个块，可以看做7次分别通过encoder，分别获得对应的feature）。
对于背景部分，由pose图得到人的mask图的逆向图，可以提取到背景的feature图，然后通过encoder可以得到最终的feature。
最后，通过连接和拼接上述两部分的feature，加上pose的信息，来重构之前的图片。
第二阶段就比较简单，对于不同的因素，由不同的神经网络来将高斯噪声，映射成其对应的feature，然后将前一阶段对应的feature，一同送给分辨器辨别feature的真假，这样训练以达到用高斯噪声生成feature的目的。
然后，将feature输入第一阶段训练的decoder，就可以生成该feature对应的图片。（只是值得注意的是，生成pose的feature的网络用的全连接网络，而其他都用的卷积网络）
训练过程：
重构图片，采用了对抗生成网络的训练方式（也就是说，在结构图中，并没有画出，第一段段的分辨器）。
对于前景和背景部分，辨别器D1和生成器G1的训练loss分别如下：
其中h表示的是pose图，λ参数表示L1损失的权重。
对于pose而言，其训练就没有对抗结构，只有L2表示的重构Loss，其表示如下：
在第一阶段的训练完成之后，才会开始第二阶段模型的训练，而第二阶段的训练Loss较为简单，用D2表示第二阶段对应的分辨器，用φ表示映射函数（等同于一个生成器），那么其训练loss分别为：
实验部分
1.生成图片质量的比较
采用的比较指标有SSIM[1]，Inception Score(IS)[2]，mask-SSIM[3], mask-IS[3]，其对比的实验结果如下：
2.插值高斯噪声的实验
验证其分解出的不同的feature，同时不同的高斯噪声生成的feature还原，对应的改变了图片的相关因素。
3.行人重识别实验：
这部分实验分两个，一个是检测使用重构方法，来训练的encoder提取的feature，其在re-ID任务中起到了帮助；第二是用该模型扩充原有的re-ID的库，然后用扩充库训练简单的re-ID模型。第二个实验充分证明了生成的图片的质量，一般用生成的图片来训练分类模型，可能会导致准确率反而下降，但是在神经网络训练中，一般增加数据量，会提升准确率，因而这样可以表明，本文提出的生成模型生成的图片可用于训练（这也有可能是现在的re-ID问题中，一般图片都比较不清晰，因而生成不太清晰，但是特征明显的数据就可以用于训练，不同于人脸识别等等模型，需要高清的图片）。
[1] Zhou Wang, Alan C. Bovik, Hamid R. Sheikh, and Eero P. Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE Trans. Image Processing, 13(4):600–612, 2004
[2] Tim Salimans, Ian J. Goodfellow,Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training gans. In NIPS, pages 2226–2234, 2016.
[3] L. Ma, J. Xu, Q. Sun, B. Schiele, T. Tuytelaars, and L. Van Gool. Pose guided person image generation. In NIPS, 2017. 1, 3, 4, 5, 6
