英文原文，虽然也是我写的 Chinglish，但是因为之前在加拿大某小村校上学导致中文术语可能会表述不准。
文章和代码都在这儿，用来骗 欢迎Star GitHub repo
准备工作
读懂这篇文章，需要你有以下方面的知识
- 如何求导数
- 基本的矩阵乘法
如果有下列知识就更好了
- 懂一点机器学习的知识，比如线性回归
- 知道什么是 感知机（perceptron）
有任何没看懂的部分，欢迎留言，信不信我半小时内秒回。
一个巨简单的神经网络（A Deadly Simple NN）
如果你对神经网络（neural network）感兴趣或者关注过相关的文章，那下图中的这个模型想必你不会感觉很陌生。
不过这个可能对于初学者有点不太友好？那看看下面这个简化版的
图里的这些东西，咱们一个一个的捋一遍。每个蓝色的圆代表一个神经元（neuron）。每个方块代表一个运算，比如 + 代表求和。上图中最左边的三个神经元组成了输入层（input layer），包含一个 h 的神经元组成了输出层（output layer），并且这一层只有这一个神经元。
对于生物学意义上的神经元来说，通常存在一个阈值（threshold）来使其达到兴奋的状态，也就是被激活。在我们所讨论的神经网络中，我们的神经元将会通过输入值和激活函数（activation function）计算一个输出值。激活函数最值得称赞的一点就是它可以是任何类型的函数，包括但不限于跃阶函数，多项式函数或者 sigmoid 函数。h 是输出神经元的输入值，结合激活函数，输出神经元会输出 f(h) 计算的结果 y，也就是整个神经网络的输出值。
如果你选择 f(h) = h 作为你的激活函数，那么你的神经网络输出结果将会是下图中的这个公式，这里 y = f(h)。
如果你觉得这看起来是一个线性回归的模型，那就对了。如果你的激活函数是连续且可导的，那么（通常情况下）你就可以使用一个叫做 梯度下降（gradient descent） 的方法来训练你的网络。不过这理解起来要稍微麻烦一点，在我们深入到训练的步骤之前，我们先来编写一个很简单的程序来了解神经网络作出预测的过程。我们将使用 sigmoid 函数作为激活函数， Python 作为编程语言。预测的这个过程是一种前馈（feedforward）的计算，仅仅有这一部分的神经网络是不能学习的（例如，通过反向传播（backpropagation）），但我们稍后再关注训练学习的部分。
import numpy as np
def sigmoid(x):
# sigmoid function
return 1/(1 + np.exp(-x))
inputs = np.array([0.7, -0.3])
weights = np.array([0.1, 0.8])
bias = -0.1
# calculate the output
output = sigmoid(np.dot(weights, inputs) + bias)
print('Output:')
print(output)
第一个单隐层神经网络（Your First 2-Layer NN）
注：单隐层，即为包括一个隐层，一个输出层的神经网络，输入层和输出层因为是必须的，所以不计数。
现在你已经基本知道了一个神经网络是怎么计算预测结果的。在现实生活中，我们面临的预测问题往往十分复杂，这样简单的网络结构可能远远不够。这里我们要引入一个新的概念，隐层（hidden layer）。
在第一部分那个简单的网络模型中，我们的权重（weight）是一个向量。但是对于多数神经网络来说，其实权重将会是一个如下图一样的矩阵。
结合第一部分的理解和上面单隐层神经网的模型，你也许已经知道怎么通过这个模型计算 h1 的具体数值了。我们给出一个简单的公式定义
对于我们所关注的这个单隐层模型来说，它是下面这样的
注意！！：上图中的权重下角标已经更改为矩阵的表达方式，并不是和单隐层神经网络图中的下角标所对应的。因为在矩阵的表达方法中，是用行／列的顺序来标注的。所以如果用示意图中的方法标注的话，会造成一些误会。
记住，上图中的这个计算过程使用的并非是矩阵使用的角标，但这个和我们上面单隐层神经网络的示意图中的标注是一致的。
结合上面所学的知识，我们可以快速构建一个单隐层神经网络的前馈（即预测）过程了。我们仍然使用 sigmoid 函数作为我们的激活函数（并且在之后很长时间都会用这个函数）。
待办事项：
- 计算隐层的输入值
- 计算隐层的输出值
- 计算输出层的输出值
- 计算输出层的输出值
import numpy as np
def sigmoid(x):
# sigmoid function
return 1/(1+np.exp(-x))
# 神经网络各层神经元数量
N_input = 3
N_hidden = 2
N_output = 1
np.random.seed(42)
# Make some fake data
X = np.random.randn(4)
# 生成输入层到隐层／隐层到输出层权重
weights_in_hidden = np.random.normal(0, scale=0.1, size=(N_input, N_hidden))
weights_hidden_out = np.random.normal(0, scale=0.1, size=(N_hidden, N_output))
# 计算隐层的输入值／输出值
hidden_layer_in = np.dot(X, weights_in_hidden)
hidden_layer_out = sigmoid(hidden_layer_in)
print('Hidden-layer Output:')
print(hidden_layer_out)
# 计算输出层的输入值／输出值
output_layer_in = np.dot(hidden_layer_out, weights_hidden_out)
output_layer_out = sigmoid(output_layer_in)
print('Output-layer Output:')
print(output_layer_out)
参考资料
- All formulas are generated by HostMath
- Some figures are taken from the Udacity deep learning course
- 【模式识别】多层感知器 MLP
- CS224d:
TensorFlow Tutorial - CS231n Winter 2016 Lecture 4 Backpropagation, Neural Networks
Thanks for reading. If you find any mistake/typo in this blog, please don't hesitate to let me know, you can reach me by email: jyang7[at]ualberta.ca
