深入浅出对抗生成网络(GAN)

GAN是机器学习的大牛Ian Goodfellow于2014年提出,是一种无监督学习的实现方案。GAN一个比较接地气的应用就是生成较真实的图片,例如:风景和人脸。NIPS2016年有个Tutorial就是介绍GAN的最新进展,这里是Tutorial的文字版,这里是一篇很好的中文的解释这里是一些有趣的Demo,可以体验一下。

GAN应用

超分辨

生成网络:输入低分辨率图像,输出高分辨率的清晰图像。尽量地把生成的结果伪装成高分辨率的清晰图像。生成网络模型被大大地简化,目的性变得很明确。因为生成网络的目的变为竟可能地伪装欺骗人眼,所以生成的结果的效果也相对更好,能提供更多的细节。判别网络:判断输入的图像是否是“真实的高分辨率图像”。

参考这篇文章(作者为fada_away),再给一个直观的解释:老张造假币,警察打假。老张想造假币谋生,一开始他造的假币很快就被实习警察识破了;然后老张回去研究一番后造出新的假币,实习生分辨不出,但被小警员给识破了;老张又回去研究,骗过了小警员,但被警察长给识破了;经过反复研究识破,最后老张造的假币警察已经识别不出来了,和真的一样!这就是GAN的很直观的原理,其中造假币的老张叫generator,警察叫discriminator,他们两个不断博弈对抗,最后让generator学会了以假乱真,达到所谓的纳什均衡。

生成模型和判别模型
GAN实现超分辨(Ledig et al 2016)
Image Morphing (BEGAN, Berthelot et al. 2017)

生成模型(Generative Modeling)

密度估计(Density estimation)是一种常见的生成模型,而密度估计的方法中最常见的是KDE(核密度估计)。如果不知道数据的分布,可以假设一个分布,然后通过密度图的情况,获知高密度的区域。KDE其实就是大家熟知的热度图的一个统计学的表达。传统概率生成模型需要进行复杂的马尔科夫链的计算,而GAN避免了这个复杂计算过程,易用于实际的应用场景。

核密度估计(KDE)


生成模型如何工作?

生成模型的主要理论支撑是最大似然估计(Maximum Likelihood),这是概率论与数理统计课程的一个重要知识点,如果不了解,可以看看我写的另一篇文章

最大似然估计

最简单的GAN框架

一个最简单的GAN框架,是利用已知的数据分布的结果(图中蓝色部分),在使用某种模型的基础上(比如高斯分布模型),反推最有可能导致这样结果的模型参数值(高斯分布的参数)。图中绿色为算出的生成概率分布。整个过程类似最大似然估计的过程。通过最优化方法,可以调节概率生成模型的参数,使得生成的概率分布尽可能逼近真实数据的分布。这里需要定义一个损失函数。传统方法通常使用似然估计的方法,而GAN引入了判别模型(SVM或CNN)。GAN是通过对抗学习这种方式来近似求解一些不可直接解的损失函数。

原始数据分布和生成概率分布
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,064评论 5 466
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,606评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,011评论 0 328
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,550评论 1 269
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,465评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,919评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,428评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,075评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,208评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,185评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,191评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,914评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,482评论 3 302
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,585评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,825评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,194评论 2 344
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,703评论 2 339

推荐阅读更多精彩内容