本教程资料来自于：Tensorflow 搭建自己的神经网络 (莫烦 Python 教程)
https://www.bilibili.com/video/av16001891?from=search&seid=6106673353000958940
什么是过拟合？（what is overfitting）
机器学习的过拟合 = 人生当中的自负
不能表达除了训练数据以外的数据
解决办法：
方法1：增加数据量
方法2:利用正则化 L1，L2 .. Regularization
其他的L3，L4，都是依次将后面的W换成3次方，4次方
方式3:（专门用于神经网络的正则化）Dropout regularizatiom
在训练的时候我们随机的忽略掉一些神经元和神经的链接使得神经网络边得不完整
用一个不完整的神经网络训练一次，到了第二次再用一个随机不完整的神经网络进行训练
Dropout每一次的训练都会使得每一次训练的结果不依赖于其中某一部分特定的神经元。
例如L1，L2，等等过度训练的参数会很大L1，L2...会惩罚这些参数。而Dropout（去掉）的方式，是从根本上无法依赖于神经网络的结构。
17、Dropout 解决 Overfitting
Tensorflow提供了Dropout的功能
解决问题：[flake8]E501:line too long (92 > 79 characters)
资料：http://www.bubuko.com/infodetail-1834590.html
然后就没有报错啦！！！开心！！
import tensorflow as tf
from sklearn.datasets import load_digits # 手写识别数据集
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import LabelBinarizer
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
# load data
digits = load_digits()
X = digits.data # 从0到9的数字data
y = digits.target
y = LabelBinarizer().fit_transform(y) # 向量one-hot编码
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.3)
def add_layre(inputs, in_size, out_size, layer_name, activation_function=None):
# add one more layer and return the output of this layer
Weights = tf.Variable(tf.random_normal([in_size, out_size]))
biases = tf.Variable(tf.zeros([1, out_size]) + 0.1)
Wx_plus_b = tf.matmul(inputs, Weights) + biases
""" Dropout Regularization """
Wx_plus_b = tf.nn.dropout(Wx_plus_b, keep_prob)
if activation_function is None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b)
tf.summary.histogram(layer_name+'/outputs', outputs) # 1
return outputs
# define placeholder for inputs to network
keep_prob = tf.placeholder(tf.float32) # 保持多少结果不被Drop掉
xs = tf.placeholder(tf.float32, [None, 64]) # 输入64个单位的向量
ys = tf.placeholder(tf.float32, [None, 10]) # 输出10个单位的向量
# add output layer
l1 = add_layre(xs, 64, 100, 'l1', activation_function=tf.nn.tanh) # 隐藏层 输出：100为了过拟合
prediction = add_layre(l1, 100, 10, 'l2', activation_function=tf.nn.softmax) # 输出层
# the loss between prediction and real data
cross_entropy = tf.reduce_mean(-tf.reduce_sum(ys*tf.log(prediction), reduction_indices=[1]))
tf.summary.scalar('loss', cross_entropy) # 2
train_step = tf.train.GradientDescentOptimizer(0.6).minimize(cross_entropy)
sess = tf.Session()
# merged = tf.merge_all_summaries()
merged = tf.summary.merge_all()
# summary writer goes in here
# train_writer = tf.train.SummaryWriter("logs/train", sess.graph)
# New SummaryWriter API
train_writer = tf.summary.FileWriter("logs/train", sess.graph) # write to file
test_writer = tf.summary.FileWriter("logs/test", sess.graph)
# Old API tf.initialize_all_variables()
sess.run(tf.global_variables_initializer())
for i in range(500):
sess.run(train_step, feed_dict={xs: X_train, ys: y_train, keep_prob: 0.5}) # 保存0.6 Drop掉0.4
if i % 50 == 0:
# record loss
train_result = sess.run(merged, feed_dict={xs: X_train, ys: y_train, keep_prob: 1})
test_result = sess.run(merged, feed_dict={xs: X_test, ys: y_test, keep_prob: 1})
train_writer.add_summary(train_result, i)
test_writer.add_summary(test_result, i)
pass
两个函数的拟合的程度不一样
18 、卷积神经网络 CNN （深度学习）
应用范围：图形图像识别、视频分析、药物发现、自然语言处理、ALPHAGO
卷积神经网络是如何运作的，识别图片的例子：
升级网络由神经层组成，每一层神经层有很多神经元，神经元是神经网络识别的关键，每一种神经网络都有自己的输入和输出，当输入是图片的时候，是一对数字。
卷积神经网络
卷积：神经网络不再是对每一个像素输入的信息做处理,而是对图片上每一小块像素区域的处理。这种做法加快了图片信息的连续性，使得神经网络能看到图形而非一个点，这种做法同时也加深了，神经网络对图片的理解。
卷积升级网络有一个批量过滤器，持续不断的收集图像的信息，
神经网络
通过不断的扫描，来收集信息。把图片的厚度不断增加，长宽减少。
实际中卷积会丢失掉一部分信息，这时候池化pooling可以很好的解决这个问题。
在卷积的时候不压缩长宽，尽量保留更多的信息。压缩的工作就交给了池化。
常用的搭建结构：
卷积核 kernel patch 每一个小部分都会变成一个长度一个宽度，k厚度的数列。
Stride 抽离的跨度是多少。
