3.1 概论
-
逻辑回归
中间层的隐藏单元中的计算
- 首先你需要输入特征 x，参数W 和b ，通过 z = w^t * x + b T 你就可以计算
出 z ，接下来使用 a = a(z) 就可以计算出a。我们将a的符号换为表示输出的 ŷ，然后可以计算出损失函数ℒ(a,y)。
-
基本神经网络结构
- 首先 X 表示输入特征，W 和 b 是参数，z1 = Wx + b1计算出 z1。
- 使用x^(i)表示第 i 个训练样本，上标方括号 1、2 表示不同的层，图中[1]表示神经网络的第一层， [2]表示神经网络的第二层 。
- 类似逻辑回归，在计算z^[1] 后需要使用σ(z^[1])计算 a^[1]，接下来你需要使用另外一个线
z^[2] = W^[2] * a^[1] + b^[2]计算 z^[2], a^[2] = σ(z^[2]) 计算a^[2] ，此时a^[2] 就是整个神经网络最终的输出，用 𝑦表示网络的输出。
- 反向计算
3.2 神经网络表示
- 神经网络的符号惯例：
x 表示输入特征
a 表示每个神经元的输出， w 表示特征的权重，
上标表示神经网络的层数（隐藏层为 1），下标表示该层的第几个神经元。 - 结构
- 输入层
- 隐藏层（很好解释了之前在第一章的疑惑）：在一个神经网络中，当你使用监督学习训练它的时候，训练集包含了输入 也包含了目标输出 ，所以术语隐藏层的含义是在训练集中，这些中间结点的准确值我们是不知道到的，也就是说你看不见它们在训练集中应具有的值。你能看见输入的值，你也能看见输出的值，但是隐藏层中的东西，在训练集中你是无法看到的。所以这也解释了词语隐藏层，只是表示你无法在训练集中看到他们。
- 简单点说，隐藏层就是把中间处理的过程隐藏起来而没有显性显示出来。
- 输出层
- 数据表示
- 隐藏层以及最后的输出层是带有参数的，参数个数与隐藏层单元/节点有关
- 传统上（两层的神经网络）：输入层是不算入总层数内，所以隐藏层是第一层，输出层是第二层。
- 技术上（三层的神经网络）：因为这里有输入层、隐藏层，还有输出层。
3.3 神经网络的输出
中间的求导过程
四个方程求神经网络
- 注：z代表隐藏层，这里有两个隐藏层
3.4 多样本向量化
- 多个训练样本，则重复计算每个样本的4个方程（for循环）
-
利用向量化简化该过程
- 水平方向，这个垂直索引对应于神经网络中的不同的训练样本。
- 垂直方向，这个垂直索引对应于神经网络中的不同节点。
