写在前面
- 态度决定高度！让优秀成为一种习惯！
- 世界上没有什么事儿是加一次班解决不了的，如果有，就加两次！（- - -茂强）
tensorflow的一般建模步骤：
数据的输入（这个有很多方法，读取本地文件，或者爬虫网络数据，或者数仓都可以）
数据的标准化 （主要是数据转换成tensorflow能接受的格式）
把数据分成训练数据和测试数据
设置模型参数 （主要有学习率，迭代次数，batch_size等）
learning_rate = 0.01
batch_size = 100
iterations = 1000初始化variables和placeholders
a_var = tf.constant(42)
x_input = tf.placeholder(tf.float32, [None, input_size])
y_input = tf.placeholder(tf.float32, [None, num_classes])
其中( float64 and float16 )表示浮点类型的不同精度-
创建模型
y_pred = tf.add(tf.mul(x_input, weight_matrix), b_matrix)
模型 定义损失函数
loss = tf.reduce_mean(tf.square(y_actual – y_pred)
损失函数
- 初始化和训练模型
with tf.Session(graph=graph) as session:
...
session.run(...)
... - 模型评估
- 参数或者结构调整优化模型
- 模型应用
Tensors的声明方式
- 创建一个0值填充的tensor
zero_tsr = tf.zeros([row_dim, col_dim]) - 创建一个1填充的tensor
ones_tsr = tf.ones([row_dim, col_dim]) - 创建一个常量填充的tensor
filled_tsr = tf.fill([row_dim, col_dim], 42) - 通过以声明的常量创建tensor
constant_tsr = tf.constant([1,2,3])
tf.constant(42, [row_dim, col_dim])与上一个是一样的 - 通过其他的tensor创建
zeros_similar = tf.zeros_like(constant_tsr)
ones_similar = tf.ones_like(constant_tsr) - 序列tensor
linear_tsr = tf.linspace(start=0, stop=1, start=3)
[0.0, 0.5, 1.0]
integer_seq_tsr = tf.range(start=6, limit=15, delta=3)
[6, 9, 12] - 随机tensor
randunif_tsr = tf.random_uniform([row_dim, col_dim],minval=0, maxval=1) 均与分布 ( minval <= x < maxval )
randnorm_tsr = tf.random_normal([row_dim, col_dim],mean=0.0, stddev=1.0) 正态分布
runcnorm_tsr = tf.truncated_normal([row_dim, col_dim],mean=0.0, stddev=1.0) 非负截尾正态分布 - 随机项数组
shuffled_output = tf.random_shuffle(input_tensor)
cropped_output = tf.random_crop(input_tensor, crop_size) - 随机copy一个图像
cropped_image = tf.random_crop(my_image, [height/2, width/2,3])
variable的声明
- 先看一个例子，体会一下接受的入参是什么？
my_var = tf.Variable(tf.zeros([row_dim, col_dim])) - 如何创建和初始化一个变量
my_var = tf.Variable(tf.zeros([2,3]))
sess = tf.Session()
initialize_op = tf.global_variables_initializer ()
sess.run(initialize_op) - Placeholders的直观感受，该占位符是为了session训练思的数据可以从feed_dict中获取，我们只有对placeholders有个操作才能把它放到图中计算，首先初始化一个图session，然后声明一个placeholders就是x，然后声明一个y跟x之间有个恒等操作identity，然后随机创建一个数据x_vals，运行identity操作。
sess = tf.Session()
x = tf.placeholder(tf.float32, shape=[2,2])
y = tf.identity(x)
x_vals = np.random.rand(2,2)
sess.run(y, feed_dict={x: x_vals})
# Note that sess.run(x, feed_dict={x: x_vals}) will result in a self-referencing error - 全局与局部初始化变量
在初始化时没有变量依赖顺序的就用全局的
initializer_op = tf.global_variables_initializer ()
如果有依赖顺序的就用局部的
sess = tf.Session()
first_var = tf.Variable(tf.zeros([2,3]))
sess.run(first_var.initializer)
second_var = tf.Variable(tf.zeros_like(first_var))
# Depends on first_var
sess.run(second_var.initialize
Matrices矩阵操作
identity_matrix = tf.diag([1.0, 1.0, 1.0])
A = tf.truncated_normal([2, 3])
B = tf.fill([2,3], 5.0)
C = tf.random_uniform([3,2])
D = tf.convert_to_tensor(np.array([[1., 2., 3.],[-3., -7.,-1.],[0., 5., -2.]]))
print(sess.run(identity_matrix))
[[ 1. 0. 0.]
[ 0. 1. 0.]
[ 0. 0. 1.]]
print(sess.run(A))
[[ 0.96751703 0.11397751 -0.3438891 ]
[-0.10132604 -0.8432678 0.29810596]]
print(sess.run(B))
[[ 5. 5. 5.]
[ 5. 5. 5.]]
print(sess.run(C))
[[ 0.33184157 0.08907614]
[ 0.53189191 0.67605299]
[ 0.95889051 0.67061249]]
print(sess.run(D))
[[ 1. 2. 3.]
[-3. -7. -1.]
[ 0. 5. -2.]]
- 矩阵的加减和乘
print(sess.run(A+B))
[[ 4.61596632 5.39771316 4.4325695 ]
[ 3.26702736 5.14477345 4.98265553]]
print(sess.run(B-B))
[[ 0. 0. 0.]
[ 0. 0. 0.]]
Multiplication
print(sess.run(tf.matmul(B, identity_matrix)))
[[ 5. 5. 5.]
[ 5. 5. 5.]] - 矩阵的行列式
print(sess.run(tf.matrix_determinant(D)))
-38.0 - 矩阵的逆
print(sess.run(tf.matrix_inverse(D)))
[[-0.5 -0.5 -0.5 ]
[ 0.15789474 0.05263158 0.21052632]
[ 0.39473684 0.13157895 0.02631579]] - 矩阵的楚列斯基分解
print(sess.run(tf.cholesky(identity_matrix)))
[[ 1. 0. 1.]
[ 0. 1. 0.]
[ 0. 0. 1.]] - 矩阵的特征值与特征向量
print(sess.run(tf.self_adjoint_eig(D))
[[-10.65907521 -0.22750691 2.88658212]
[ 0.21749542 0.63250104 -0.74339638]
[ 0.84526515 0.2587998 0.46749277]
[ -0.4880805 0.73004459 0.47834331]]
第一行就是特征值，剩下的行就是特征向量
Operations的声明
tensorflow有一些标准的operations（加减乘除）
add() , sub() , mul() , div()tensorflow提供了数种div()方法
print(sess.run(tf.div(3,4)))
0
print(sess.run(tf.truediv(3,4)))
0.75
print(sess.run(tf.floordiv(3.0,4.0)))
0.0取余
print(sess.run(tf.mod(22.0, 5.0)))
2.0cross()方法
该方法只接受两个三维的tensor
print(sess.run(tf.cross([1., 0., 0.], [0., 1., 0.])))
[ 0. 0. 1.0]其他的函数列表，大家自己体会吧（英文不好下个金山词霸，挺好用的）
tensorflow常用数学函数
- 特殊的数学函数
tensorflow特殊函数
# Tangent function (tan(pi/4)=1)
print(sess.run(tf.div(tf.sin(3.1416/4.), tf.cos(3.1416/4.))))
1.0
- 自定义函数
def custom_polynomial(value):
return(tf.sub(3 * tf.square(value), value) + 10)
print(sess.run(custom_polynomial(11)))
362 - 激活函数（不用多说都知道激活函数吧）
- max(0,x)
print(sess.run(tf.nn.relu([-3., 3., 10.])))
[ 0. 3. 10.] - min(max(0,x),6)
print(sess.run(tf.nn.relu6([-3., 3., 10.])))
[ 0. 3. 6.] - 1/(1+exp(-x))
print(sess.run(tf.nn.sigmoid([-1., 0., 1.])))
[ 0.26894143 0.5 0.7310586 ] - ((exp(x)-exp(-x))/(exp(x)+exp(-x)) [-1, 1]
print(sess.run(tf.nn.tanh([-1., 0., 1.])))
[-0.76159418 0. 0.76159418 ] - x/(abs(x) + 1)
print(sess.run(tf.nn.softsign([-1., 0., -1.])))
[-0.5 0. 0.5] - log(exp(x) + 1)
print(sess.run(tf.nn.softplus([-1., 0., -1.])))
[ 0.31326166 0.69314718 1.31326163] - (exp(x)+1) if x < 0 else x
print(sess.run(tf.nn.elu([-1., 0., -1.])))
[-0.63212055 0. 1. ]
下面使一些图形
Activation functions of softplus, ReLU, ReLU6, and exponential LU
Sigmoid, hyperbolic tangent (tanh), and softsign activation function
好了，基础性的东西介绍就先到这里，可否赞一个？你的支持就是我的动力！
