nn.Dropout ---- input 可以是任何形状和尺寸,一般是用在全连接线性映射之后(紧跟着)。
nn.Dropout2d ---- input 必须是(N,C,H,W) 这样的多通道2维数据集合。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。
nn.Dropout3d---- input 必须是 (N,C,D,H,W) 这样的多通道的3维数据集。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。
nn.AlphaDropout---input 可以是任何尺寸,输出的尺寸大小和input一致, 目的是为了保证输出的结果是零均值和单位方差。
nn.FeatureAlphaDropout ---input必须是(N,C,D,H,W) 或者是 (C,D,H,W), 输出尺寸大小和输入一致。 保证输出的结果是零均值和单位方差。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。
Dropout 深度学习中间的正则化手段之一
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
禁止转载,如需转载请通过简信或评论联系作者。
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- autograd实现了自动微分系统,然而对深度学习来说过于底层,本章将介绍的nn模块,是构建于autograd之上...
- 第10章 使用Keras搭建人工神经网络[https://www.jianshu.com/p/86626c7981...