What is `epoch`?

假设,你是一个新手。

一天,有人问了你 epoch在机器学习里面代表着什么?

QQ里面截图:


截图1

最好的方式是在知乎里面找啦:

https://www.zhihu.com/question/43673341

但是,

本着认真的态度,在网上查查 :

在stackOverflow

1. Meaning of an Epoch in Neural Networks Training

这个有个单词 cycle , cycle是循环的一次啊,full taining cycle on training set 就是说在epoch就是一次对所有数据的训练啦。 那么,每次训练是不是一样的呢? 

How do know how many deep learning epochs were done, from R?


这个人是从代码的角度解释的。


在Quora里面找了找

What is an epoch in deep learning?


这位投票率比较高: 他的观点是 一个epoch就是将全部训练集合的一次传播(这里并没有指名是正向还是反向?),通常情况下,one epoch 包含很多迭代(这是自然的);回答者的第二句话就厉害了:Because usually we divide the training set into batches, each epoch go through the whole training set. Each iteration goes through on batch. 我们把数据集分割成很多批次batch, 每次迭代经过批处理,每个epoch要经过整个训练集合。最后这位还给出了一本书的链接支持自己观点


http://neuralnetworksanddeeplearning.com/chap1.html  这里给出的更加具体:


从给出的程序片段上,我们可以知道epoch 是训练整个数据集合的,每次训练之前shuffle一次。每个epoch中包含batches.    与图一,图二中的说法一致


本着怀疑的态度,又看了一个链接 Epoch vs. Iteration  


”an epoch is a complete pass through a given dataset.“ 这里说的很明白了。再看看最后:Epoch and iteration are only synonymous if you update your parameters once for each pass through the whole dataset; if you update using mini-batches, they mean different things.  如果每次通过整个数据集更新参数一次,epoch和terator是同义词; 如果使用小批量进行更新,则意味着不同的事情。 注意,这就和我们之前的理解不同了。假设我们有两个batch A和B, 进行3次迭代, 虽然迭代的是AAABBB, 但是这3个epoch 可以看做AB ,AB,AB 

多看了一个文献,我发现和之前描述的略有不同。这里说在大良的数据情况下,迭代和epoch 是一样的,但是在小数据的情况下是不同的。

有点开始怀疑英语水平了。。。。继续看--》

What is batch size and epoch in neural network? 


这位作者也给出比较详细:epoch是整个训练数据进行一次正向传播和反向传播的。; 那么迭代和batch的关系呢???给出了一个例子: 假如,你的训练数据有1000个,你的batch_size=500. 那么需要两次iteration才能完成一次epoch.这下似乎明白了: 图1,2说的不错,那么图3呢,说的也不错,batch1=A,batch2=B的时候,在进行三个epoch, 你看看是不是和图3的说法一样的呢? 


说了这么久,似乎还忘了一个问题:epoch 有什么用呢?且继续看上面的链接。。。。


似乎没有找到我们想要的

嘿嘿,这个时候找一篇深度学习的论文,在实验部分一定会有介绍的。


小结

epoch 其实也是我在写论文的时候遇到的,在度量模型训练的程度时候可以用一下。


敬请期待:
How To Improve Deep Learning Performance

http://epoch.ch/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,165评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,503评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,295评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,589评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,439评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,342评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,749评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,397评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,700评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,740评论 2 313
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,523评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,364评论 3 314
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,755评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,024评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,297评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,721评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,918评论 2 336

推荐阅读更多精彩内容

  • 我喜欢音乐,但我是一个音盲,不识谱,也分不清拍子节奏什么的。然而这也不影响我的喜好。例如我是男人,不会生孩子,但是...
    木头公仔陈老师阅读 1,153评论 2 2
  • 五月的风 在寂静的深夜 轻盈的来到爱人身旁 低语 诉说着离别前的 缠绵 让心在爱的国度里荡漾 爱在春末夏初时节 乘...
    晓霞初阳阅读 217评论 0 0
  • 人会变,生态会变,地球也越来越糟糕……如果问,还有什么是不变的,那就一定是“轮回”了,四季轮回就是其中的一个。 春...
    望月尘阅读 569评论 1 3
  • 所有可燃之物,在于燃透,松散而不失形!便是好的燃物!好的物件都要如此,生命燃烧依旧如此,透彻,散而不失其形!几人能...
    纵情嬉戏天地间阅读 237评论 0 0
  • docker的使用给开发、测试和运维都带来了很多便利,以下是个人在使用docker中学到的一些经验,备忘备查。 删...
    蓝色瓦力阅读 325评论 0 0