51cto登录卡，只好到这边保存一些学习资料
深度学习
1） tensorflow安装
基于python版本，
sudo pip install –-upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.3.0-cp27-none-linux_x86_64.whl
cpu是安装CPU版本，只适合学习，cpu版本太慢，运算要靠gpu版本，1.3.0是tensorflow版本 cp27是python 2.7
查看tf version
tf.version
example下载
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/examples
2） 张量tensor
张量想象成一个n维的数组或列表
Rank & shape
rank 0 []
Rank 1 [1,2,3] shape[3]
Rank 2 [[1,2,3],[4,5,6]] shape[2,3]
Rank3 [[[1,2,3]],[[7,8,9]]] shape[2,1,3]
3） HelloWorld - MNIST
MNIST 该问题解决的是把28x28像素的灰度手写数字图片识别为相应的数字，其中数字的范围从0到9.
算法介绍 http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.html
核心是 y = softmax(Wx + b)
基本概念
占位符
y_ = tf.placeholder(tf.float32, [None, 10])
交叉熵-接近于方差概念，定义模型的损益值
cross_entropy = tf.reduce_mean( tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y))
labels是图像标签，标记图像分类，属于监督学习
训练
for _ in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
评估
tf.argmax(y, 1) 输出可能性最大label值
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) //creduce_mean 取cast平均值[1,1,0,1] = 0.75
/‘x’ is [[1,1][2,2]]
Tf.reduce_mean(x) = 1.5 全局平均值
Tf.reduce_mean(x,0) = [1.5,1.5]
Tf.reduce_mean(x,1) = [1,2] //第二个参数是维数/
准确率 92%
4） MNIST Improve-基于CNN（convulutional Neural Network 卷积神经网络）
https://www.zhihu.com/question/39022858 CNN的概念
一个基本的卷积网络的3要素
- 卷积层
- 池化层（可选）
- 全连接
基本概念
卷积： 输入图像，定义权重矩阵，并且输入被卷积以从图像中提取特殊特征而无需损失其有关空间安排的信息。 核心是权重矩阵的学习，而不需要预设
Zero padding帮助控制Feature Map的输出尺寸，同时避免了边缘信息被一步步舍弃的问题
strides: 权值矩阵一次移动一个像素，我们称其步长为 1
池化: 池化的唯一目的是减少图像的空间大小
卷积和池化层只会提取特征，并减少原始图像带来的参数。然而，为了生成最终的输出，
我们需要应用全连接层来生成一个等于我们需要的类的数量的输出
RGB颜色模型中，单个矩阵就扩展成了有序排列的三个矩阵，也可以用三维张量去理解，其中的每一个矩阵又叫这个图片的一个channel
CNN for MNIST
x_image = tf.reshape(x, [-1, 28, 28, 1]) //2,3位代表图像w,h, 最后一位代表color channel
//shape里最多有一个维度的值可以填写为-1，表示自动计算此维度
//第一轮卷积
W_conv1 = weight_variable([5, 5, 1, 32]) //5*5 patch 1 channel 32 features
b_conv1 = bias_variable([32])
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
First convolutional layer - maps one grayscale image to 32 feature maps.
h_pool1 = max_pool_2x2(h_conv1)//池化降为1414
//tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
//ksize：池化窗口的大小，取一个四维向量，一般是[1, height, width, 1]
//第二轮卷积
W_conv2 = weight_variable([5, 5, 32, 64]) //64 feature
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2) //池化77
//全连接层 7x7x64 feature maps to 1024 features
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 7764])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
//drop out 在training 时打开， test时关闭 为了解决过拟合问题： 过拟合是指模型学习的太彻底，把噪声数据也学习了，导致后期模型泛化能力太差
//drop out 在训练时让神经元以一定概率不工作
keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
//使用时keep_prob: 1.0 意味着1-1 = 0 关闭
//输出
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv = tf.matmul(h_fc1_drop, W_fc2) + b_fc2
准确率 99%
5）Tensorflow的softmax_cross_entropy_with_logits函数
http://www.jianshu.com/p/fb119d0ff6a6
tf.summary.scalar(tags, values, collections=None, name=None)
对标量数据汇总和记录使用tf.summary.scalar
tf.nn.in_top_k组要是用于计算预测的结果和实际结果的是否相等，返回一个bool类型的张量，tf.nn.in_top_k(prediction, target, K):prediction就是表示你预测的结果，大小就是预测样本的数量乘以输出的维度，类型是tf.float32等。target就是实际样本类别的标签，大小就是样本数量的个数。K表示每个样本的预测结果的前K个最大的数里面是否含有target中的值。一般都是取1。
tf.cast() 类型转换
tf.argmax() 返回最大值所在的坐标
tf.reduce_mean() 求均值
tensorboard 启动
1）定位到你训练后log文件保存的位置
2）cd ..
tensorboard --logdir=XXXX
- 复制输出网址到Chrome浏览器中就会看到TensorBoard的页面了
