主要学习内容是吴恩达的深度学习
吴恩达的深度学习
神经元
什么是神经元？它就是一个wx+b，然后后面跟一个激活函数。
神经网络
就是由多个神经元组成的一个网络结构。
前向传播
通过输入值x，从左向右计算，然后经过一层或多层神经网络，最终计算出一个预测值，这就是前向传播。
后向传播
通过损失函数，从右向左，计算出各层w和b的梯度值，然后经过梯度下降，将各层的w和b更新，这整个过程就是后向传播。
logistic回归
就是先进行前向传播，然后计算出一个预测值，将这预测值与实际值进行比较，从而计算出一个损失，然后通过这个损失计算出各层w和b的梯度值，从而使用梯度下降进行后向传播。然后，不停的循环，进行训练。这整个过程就是logistic回归。
浅神经网络
它其实整个流程和logistic回归是一样的，只是它有一层隐藏层，它也称作浅神经网络。
深度神经网络
它相比于前神经网络，只是它至少有两层隐藏层。
激活函数
常用的激活函数有sigmod、tanh、relu和relu leak，其中relu和relu leak比前两者好，因为前面两个当达到极大值或极小值时，梯度就很小了，梯度下降也会很慢，训练速度会很缓慢。
权重值为什么不能初始化为0？
这是因为当w都初始化为0后，它们相同层的神经元计算起来就对称了，当一次后向传播之后，由于梯度值也一样，所以相同层之间的w还是一样的，这样相当于一层只有一个神经元一样。
总结与计划
- 总结： 做了第二周和第三周的练习，听了第三周课程，感觉很不错，弄懂了神经网络的整个计算过程。
- 计划：继续学习深度学习，争取今年把这门课程赶上最新进度。
