来记录一下建立第一个基于 TensorFlow 框架的神经网络的过程，由于是第一次练习，建立的神经网络比较简单，输入层有两个节点 x1 x2，隐藏层三个节点 a1 a2 a3，输出层一个节点 y。
建立过程可以分为三个步骤：
- 定义神经网络的结构和前向传播的输出结果
- 定义损失函数以及选择反向传播优化的算法
- 生成会话，并且在训练数据上反复运行反向传播优化算法
以下就分这三部分记录
1. 定义神经网络的结构和前向传播算法的输出结果
import tensorflow as tf
from numpy.random import RandomState
# 定义训练数据 batch 的大小
batch_size = 8
# 定义神经网络的参数
# random_naomal 为正态分布，stddev 为标准差，seed 为随机种子
w1 = tf.Variable(tf.random_normal([2,3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3,1], stddev=1, seed=1))
# 定义神经网络的输入层的输出的和输出层的输出
x = tf.placeholder(tf.float32, shape=(None, 2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(None, 1), name='y-input')
# 定义神经网络前向传播的过程
# matmul 为矩阵相乘
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
2. 定义损失函数以及选择反向传播优化的算法
# 定义损失函数和反向传播的算法
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)
# 通过随机数生成一个模拟数据集
rdm = RandomState(1) # 小于 1
dataset_size = 128
# 从 128 个随机数抽 2 个
X = rdm.rand(dataset_size, 2)
# 从 X 中 x1+x2 < 1 的随机数中 抽 2 个
Y = [[int(x1+x2 < 1)] for (x1, x2) in X]
3. 生成会话，并且在训练数据上反复运行反向传播优化算法
# 创建一个会话来运行 TensorFlow 程序
with tf.Session() as sess:
init_op = tf.initialize_all_variables()
# 初始化变量
sess.run(init_op)
# 打印在训练之前神经网络参数的值
print sess.run(w1)
print sess.run(w2)
# 设定训练的轮数
STEPS = 5000
for i in range(STEPS):
# 每次选取 batch_size 个样本进行训练
start = (i * batch_size) % dataset_size
end = min(start+batch_size, dataset_size)
# 通过选取的样本训练神经网络并更新参数
sess.run(train_step, feed_dict={x: X[start:end], y_ : Y[start:end]})
if i % 1000 == 0:
# 每隔一段时间计算在所有数据上的交叉熵并输出
total_cross_entropy = sess.run(cross_entropy, feed_dict={x: X, y_: Y})
# 打印交叉熵
print ("经过 %d 次训练后，总交叉熵为 %g" % (i, total_cross_entropy))
# 打印训练结束后神经网络参数的值
print sess.run(w1)
print sess.run(w2)
打印结果截图如下：
-
训练之前神经网络参数的值
训练之前神经网络参数的值 -
交叉熵的变化
交叉熵的变化
可以发现，随着训练的进行，交叉熵在逐渐变小，说明预测的结果和真实的结果差距越来越小
-
训练之后神经网络参数的值
训练之后神经网络参数的值
训练后参数的值可以使神经网络能更好的拟合提供的训练数据
--
第一次写深度学习的代码，还有很多地方有疑问，以后会把学习过程中产生的疑问总结记录下来。
