单个样本,注意W的维度为(4,3),4表示隐藏层单元个数,3表示单元输入变量的个数;x为列向量
m个样本
m个样本的矢量化
m个样本矢量化的解释
m个样本矢量化 完整表示
激活函数
sigmod不如tanh,一般用于二分类输出层
隐藏层一般选择Relu,Relu比sigmod或者tanh速度快是因为,斜率不会接近0(足够多的隐藏层单元数量,所以实际中不会出现Z为0的情况)
据说leaky Relu优于Relu
单个样本,注意W的维度为(4,3),4表示隐藏层单元个数,3表示单元输入变量的个数;x为列向量
m个样本
m个样本的矢量化
m个样本矢量化的解释
m个样本矢量化 完整表示
sigmod不如tanh,一般用于二分类输出层
隐藏层一般选择Relu,Relu比sigmod或者tanh速度快是因为,斜率不会接近0(足够多的隐藏层单元数量,所以实际中不会出现Z为0的情况)
据说leaky Relu优于Relu