1.神经网络概述
二层神经网络.png
反向传播是将loss反向传播回去，本质是链式法则求导，然后更新权重参数。示意图如下：
计算流程示意图.png
2.神经网络表示及计算
神经网络表达示意图.png
神经网络计算.png
3、神经网络的向量化表达及解释
对于两层神经网络，从输入层到隐藏层对应一次逻辑回归运算；从隐藏层到输出层对应一次逻辑回归运算。每层计算时，要注意对应的上标和下标，一般我们记上标方括号表示layer，下标表示第几个神经元。例如ai[l]表示第l层的第i个神经元。注意，i从1开始，l从0开始。
神经网络向量化表达.png
多个例子的向量化.png
4.激活函数
激活函数.png
激活函数公式推导.png
激活函数的导数：
计算公式.png
6.随机初始化
权重初始化为0.png
随机初始化.png
