一写在前面

未经允许，不得转载，谢谢~~~

这篇文章用GAN网络实现了从single image到3D voxel shape，再到生成不同角度，不同纹理的新图像。

文章出处：NIPS2018
文章链接：https://arxiv.org/abs/1812.02725
文章website：http://von.csail.mit.edu/
官方代码：https://github.com/junyanz/VON

二文章主要内容

2.1 motivation

目前用GAN网络可以完成很多从image生成新的image的工作，并且效果也都不错。但是缺乏3D shape info，对应的就完成不了很多人类可以简单完成的功能，for example：

change viewpoint；
change texture；
transfer appearance;
...

所以这点就作为本文的motivation，文章希望能够先从单张图像上恢复出3D信息，然后再从3D shape进行图像的生成，这样就可以支持上述3D shape层面的操作。

2.2 main work

文章通过disentangled object presentation训练一个能够同时生成3D shape和2D images的对抗生成网络。
（这里对disentangled单词的理解结合文章其他内容，我觉得可以理解为将object的shape，viewpoint，texture独立开）
特别的，借鉴graphic rendering engine中的常见做法，将图像分成三个条件独立的部分：
- shape 形状信息
- viewpoint 角度信息
- texture 纹理信息
main pipeline
网络结构图：

主要可以分成以下的3步：

从image通过对抗生成网络生成3D shape。
结合view point 和上一步得到的3D shape，通过映射模块P，得到包含<深度depth, 轮廓silhouette>信息的 2.5D sketches。
结合纹理信息texture和2.5D sketches，通过对抗生成网络生成得到目标图像2D image x。

整个过程就是以上的3步，整体的网络依靠GAN网络进行生成和判别；

整个网络是可以end to end进行训练的。

2.3 related work

GANs for 2D image systhesis
3D shape generation
Inverse graphics

三网络具体实现

3.1 dataset

文章基于图像的shape, viewpoint, texture是相互独立的，基于这一点，整个网络训练的时候就不需要paired <2D Images, 3D shapes>, 这一点在很大程度上降低了对数据集标注的要求。

即使用的2D images dataset和3D shapes dataset可以是相互独立的，不需要一一对应，当然整体类别信息需要一致。

这一点体现在网络上就是从2D images生成3D voxel shape的过程，目标只需要判断生成出来的3D shape像是真实的3D shape即可，没有特定的映射关系。

文章中选用了chair和car两个类别进行实验，使用的两个数据集分别是

3D shape： shapenet
2D shape： pix3D + google上爬取到的图像

3.2 formulation

主要就是以上介绍的3个部分。

这部分涉到到很多公式和细节，想认真了解的建议看看原文，这里只记录一些比较重点的部分。

3.2.1 Learning 3D Shape Priors

指的是从2D image到3D shape的过程；
用对抗生成网络完成，包含一个生成器G_shape，一个判别器D_shape。
loss函数如下：

3.2.2 Generating 2.5D Sketches

指的是从3D shape + viewpoint生成2.5D sketches的部分；
这个部分的大概意思是给定一个相机位置，先设定从相机位置到一个图像面板各个像素之间的射线群，然后看哪些射线会击中voxels上的点，由射线上的点推断出对应的depth深度信息和visibility (silhouette) 轮廓信息。
具体的细节我还没有看懂，希望大佬指点==

3.2.3 Learning 2D Texture Priors

指的是从2.5D sketches+texture生成新图像的部分；
同样用对抗网络的方式生成，包含了很多内容。
首先是这个阶段的生成器G_texture，判别器D_image，得到这个部分的loss函数：
然后是上个阶段虽然没有生成器，但是作者还是赋予了一个判别器D_2.5D，还有一个识别器E_2.5D, 所以上个阶段的loss的loss函数为：
然后出了GAN网络的loss，还借鉴了cycleGAN的思想，在这里除了E_2.5D，给texture也增强了一个识别器E_texture，相对应的为三个阶段分别设计了三个cycleGAN类似的loss：
最后还加了一个惩罚项：

所以最终这个部分的loss计算公式为：

3.2.4 full model

将3.2.1和3.3.3的两部分loss叠加，得到最终整个模型的loss表示：

3.2.5 network training

虽然文章整体结构是end to end训练的，但在实际操作的时候是先训练部分：

在3D shape dataset上训练G_shape
然后在给定ground truth 3D shape和image data的基础上训练G_texture
最后将两个整合在一起做end to end 的finetune

3.2.6 补充：关于GAN

GAN真的是无所不能啊~

我自己也还没有实战过GAN网络的训练，先补充一点粗略的理解。

经典的GAN网络一般都由一个生成器G和一个判别器D组成；
生成器的目的是希望生成的东西和对应的真实的数据集越接近越好，note as min(G)
判别器的目的是希望能判断出生成出来的东西是假的，即跟真实的数据集越远越好，note as max(D)
前向的过程是先经过生成器，再经过判别器，梯度回传的时候就反过来，note as：
其中L指的是loss函数，在这个例子里(G_shape)里，对应的就是：

四写在最后

1 首先是个人对文章工作的一点想法：

这篇文章整体来说还是很fancy的，依靠GAN网络还原出3D shape，然后再借助2.5D sketches生成各种形状角度的新图像。

文章将shape, texture, viewpoint独立开来这一点起到了很好的实现上的便利性：1) 利用这一点可以做到对不匹配的2D images dataset和3D shape dataset数据进行学习；2) 而且这种在生成3D shape时不考虑角度、纹理信息，只在生成新图像的时候考虑这两个因素的做法可以使得生成的图像与输入的图像可以在样子上有很大的diversity。

整个网络是class-specific的，即一次只能使用于同一个类别，如果能突破这个条件限制就更好了。

2 关于论文阅读笔记记录的一点想法：

还是感觉自己看的文章数量不够多，另外每一篇都用详细的方式去记录还是挺占用时间的。

后面可能会做一些简单记录的尝试~

另外这篇文章中如何根据3D shape + camera parameter得到2.5D sketches的部分没有完全看懂，希望有大佬可以指点迷津，感谢￣▽￣

论文 | VON模型解读《Visual Object Networks: Image Generation with Disentangled 3D Representation》