三、深层神经网络
1.为什么需要深层?
在较深的隐藏层中,能够将基础特征组合成较为复杂的特征组合。
2.参数和超参数
参数:即W
和b
超参数:
- 学习率
- 循环的次数
- 隐藏层数目
- 激活函数
- 正则化
- batch size
- ……..
超参数的取值会决定W
和b
的值,从而影响神经网络的效果以及其训练速度等。
超参数的设定往往需要根据经验取一个合适的值,然后根据应用效果、调整目标等进行更新来优化神经网络。
3.深层神经网络的实现
其实跟浅层神经网络没有什么差异,只是需要进行的运算步骤比较多而已。
但是要在实现矩阵运算的时候注意矩阵之间的shape是否匹配,可以有效避免很多bug。