(52 封私信 / 80 条消息) 你有哪些deep learning(rnn、cnn)调参的经验? - 知乎 (zhihu.com)
如何选择神经网络的超参数 - 知识天地 - 博客园 (cnblogs.com)
ode_nn_2.0相比pull request程序做出的改进:
1.扩大batch_size: 发现训练集上面的loss已经降得很小而测试集的loss乱跳,这是由于训练集过小导致的。 尝试扩大batch_time和batch_size,发现单独扩大batch_size效果较好。
2.扩大神经网络的宽度: 发现随着积分次数的增加模型拟合能力变弱,这是神经网络复杂度不够导致的。 尝试扩大神经网络的层数或宽度,发现扩大宽度效果较好。
3.更换优化器,添加正则项: 把优化器从rmsprop换成Adam后精度有明显提高,同时运行速度变快。 进一步换成带正则项的AdamW,精度进一步提高。
4.动态调整学习率: 开始时快速拟合曲线形状,之后微调幅度。
5.早停法: 当模型性能不再提高时,停止训练。
深度学习调参策略(一) - 知识天地 - 博客园 (cnblogs.com)
深度学习调参策略(二) - 知识天地 - 博客园 (cnblogs.com)
深度学习网络调参技巧 - 知识天地 - 博客园 (cnblogs.com)
深度学习调参技巧总结 - 知识天地 - 博客园 (cnblogs.com)
深度学习调参技巧 - 知识天地 - 博客园 (cnblogs.com)
(15条消息) 几种交叉验证方法介绍及对比_yawei的博客-CSDN博客_交叉验证法
(15条消息) 在 Pytorch 中实现 early stopping_夏树让的博客-CSDN博客
(52 封私信 / 80 条消息) 机器学习中用来防止过拟合的方法有哪些? - 知乎 (zhihu.com)