tensorflow基础篇

写在前面

• 态度决定高度！让优秀成为一种习惯！
• 世界上没有什么事儿是加一次班解决不了的，如果有，就加两次！（- - -茂强）

tensorflow的一般建模步骤：

• 数据的输入（这个有很多方法，读取本地文件，或者爬虫网络数据，或者数仓都可以）

• 数据的标准化 （主要是数据转换成tensorflow能接受的格式）

• 把数据分成训练数据和测试数据

• 设置模型参数 （主要有学习率，迭代次数，batch_size等）
  learning_rate = 0.01
  batch_size = 100
  iterations = 1000

• 初始化variables和placeholders
  a_var = tf.constant(42)
  x_input = tf.placeholder(tf.float32, [None, input_size])
  y_input = tf.placeholder(tf.float32, [None, num_classes])
  其中( float64 and float16 )表示浮点类型的不同精度

• 创建模型
  y_pred = tf.add(tf.mul(x_input, weight_matrix), b_matrix)

  
  模型

• 定义损失函数
  loss = tf.reduce_mean(tf.square(y_actual – y_pred)

损失函数

• 初始化和训练模型
  with tf.Session(graph=graph) as session:
  ...
  session.run(...)
  ...
• 模型评估
• 参数或者结构调整优化模型
• 模型应用

Tensors的声明方式

• 创建一个0值填充的tensor
  zero_tsr = tf.zeros([row_dim, col_dim])
• 创建一个1填充的tensor
  ones_tsr = tf.ones([row_dim, col_dim])
• 创建一个常量填充的tensor
  filled_tsr = tf.fill([row_dim, col_dim], 42)
• 通过以声明的常量创建tensor
  constant_tsr = tf.constant([1,2,3])
  tf.constant(42, [row_dim, col_dim])与上一个是一样的
• 通过其他的tensor创建
  zeros_similar = tf.zeros_like(constant_tsr)
  ones_similar = tf.ones_like(constant_tsr)
• 序列tensor
  linear_tsr = tf.linspace(start=0, stop=1, start=3)
  [0.0, 0.5, 1.0]
  integer_seq_tsr = tf.range(start=6, limit=15, delta=3)
  [6, 9, 12]
• 随机tensor
  randunif_tsr = tf.random_uniform([row_dim, col_dim],minval=0, maxval=1) 均与分布 ( minval <= x < maxval )
  randnorm_tsr = tf.random_normal([row_dim, col_dim],mean=0.0, stddev=1.0) 正态分布
  runcnorm_tsr = tf.truncated_normal([row_dim, col_dim],mean=0.0, stddev=1.0) 非负截尾正态分布
• 随机项数组
  shuffled_output = tf.random_shuffle(input_tensor)
  cropped_output = tf.random_crop(input_tensor, crop_size)
• 随机copy一个图像
  cropped_image = tf.random_crop(my_image, [height/2, width/2,3])

variable的声明

• 先看一个例子，体会一下接受的入参是什么？
  my_var = tf.Variable(tf.zeros([row_dim, col_dim]))
• 如何创建和初始化一个变量
  my_var = tf.Variable(tf.zeros([2,3]))
  sess = tf.Session()
  initialize_op = tf.global_variables_initializer ()
  sess.run(initialize_op)
• Placeholders的直观感受，该占位符是为了session训练思的数据可以从feed_dict中获取，我们只有对placeholders有个操作才能把它放到图中计算，首先初始化一个图session，然后声明一个placeholders就是x，然后声明一个y跟x之间有个恒等操作identity，然后随机创建一个数据x_vals，运行identity操作。
  sess = tf.Session()
  x = tf.placeholder(tf.float32, shape=[2,2])
  y = tf.identity(x)
  x_vals = np.random.rand(2,2)
  sess.run(y, feed_dict={x: x_vals})
  # Note that sess.run(x, feed_dict={x: x_vals}) will result in a self-referencing error
• 全局与局部初始化变量
  在初始化时没有变量依赖顺序的就用全局的
  initializer_op = tf.global_variables_initializer ()
  如果有依赖顺序的就用局部的
  sess = tf.Session()
  first_var = tf.Variable(tf.zeros([2,3]))
  sess.run(first_var.initializer)
  second_var = tf.Variable(tf.zeros_like(first_var))
  # Depends on first_var
  sess.run(second_var.initialize

Matrices矩阵操作

  identity_matrix = tf.diag([1.0, 1.0, 1.0])
  A = tf.truncated_normal([2, 3])
  B = tf.fill([2,3], 5.0)
  C = tf.random_uniform([3,2])
  D = tf.convert_to_tensor(np.array([[1., 2., 3.],[-3., -7.,-1.],[0., 5., -2.]]))
  print(sess.run(identity_matrix))
  [[ 1. 0. 0.]
   [ 0. 1. 0.]
   [ 0. 0. 1.]]
  print(sess.run(A))
  [[ 0.96751703 0.11397751 -0.3438891 ]
  [-0.10132604 -0.8432678 0.29810596]]
  print(sess.run(B))
  [[ 5. 5. 5.]
  [ 5. 5. 5.]]
  print(sess.run(C))
  [[ 0.33184157 0.08907614]
  [ 0.53189191 0.67605299]
  [ 0.95889051 0.67061249]]
  print(sess.run(D))
  [[ 1. 2. 3.]
   [-3. -7. -1.]
   [ 0. 5. -2.]]

• 矩阵的加减和乘
  print(sess.run(A+B))
  [[ 4.61596632 5.39771316 4.4325695 ]
  [ 3.26702736 5.14477345 4.98265553]]
  print(sess.run(B-B))
  [[ 0. 0. 0.]
  [ 0. 0. 0.]]
  Multiplication
  print(sess.run(tf.matmul(B, identity_matrix)))
  [[ 5. 5. 5.]
  [ 5. 5. 5.]]
• 矩阵的行列式
  print(sess.run(tf.matrix_determinant(D)))
  -38.0
• 矩阵的逆
  print(sess.run(tf.matrix_inverse(D)))
  [[-0.5 -0.5 -0.5 ]
  [ 0.15789474 0.05263158 0.21052632]
  [ 0.39473684 0.13157895 0.02631579]]
• 矩阵的楚列斯基分解
  print(sess.run(tf.cholesky(identity_matrix)))
  [[ 1. 0. 1.]
  [ 0. 1. 0.]
  [ 0. 0. 1.]]
• 矩阵的特征值与特征向量
  print(sess.run(tf.self_adjoint_eig(D))
  [[-10.65907521 -0.22750691 2.88658212]
  [ 0.21749542 0.63250104 -0.74339638]
  [ 0.84526515 0.2587998 0.46749277]
  [ -0.4880805 0.73004459 0.47834331]]
  第一行就是特征值，剩下的行就是特征向量

Operations的声明

• tensorflow有一些标准的operations（加减乘除）
  add() , sub() , mul() , div()

• tensorflow提供了数种div()方法
  print(sess.run(tf.div(3,4)))
  0
  print(sess.run(tf.truediv(3,4)))
  0.75
  print(sess.run(tf.floordiv(3.0,4.0)))
  0.0

• 取余
  print(sess.run(tf.mod(22.0, 5.0)))
  2.0

• cross()方法
  该方法只接受两个三维的tensor
  print(sess.run(tf.cross([1., 0., 0.], [0., 1., 0.])))
  [ 0. 0. 1.0]

• 其他的函数列表，大家自己体会吧（英文不好下个金山词霸，挺好用的）

tensorflow常用数学函数

• 特殊的数学函数

tensorflow特殊函数

# Tangent function (tan(pi/4)=1)
print(sess.run(tf.div(tf.sin(3.1416/4.), tf.cos(3.1416/4.))))
1.0

• 自定义函数
  def custom_polynomial(value):
  return(tf.sub(3 * tf.square(value), value) + 10)
  print(sess.run(custom_polynomial(11)))
  362
• 激活函数（不用多说都知道激活函数吧）
• max(0,x)
  print(sess.run(tf.nn.relu([-3., 3., 10.])))
  [ 0. 3. 10.]
• min(max(0,x),6)
  print(sess.run(tf.nn.relu6([-3., 3., 10.])))
  [ 0. 3. 6.]
• 1/(1+exp(-x))
  print(sess.run(tf.nn.sigmoid([-1., 0., 1.])))
  [ 0.26894143 0.5 0.7310586 ]
• ((exp(x)-exp(-x))/(exp(x)+exp(-x)) [-1, 1]
  print(sess.run(tf.nn.tanh([-1., 0., 1.])))
  [-0.76159418 0. 0.76159418 ]
• x/(abs(x) + 1)
  print(sess.run(tf.nn.softsign([-1., 0., -1.])))
  [-0.5 0. 0.5]
• log(exp(x) + 1)
  print(sess.run(tf.nn.softplus([-1., 0., -1.])))
  [ 0.31326166 0.69314718 1.31326163]
• (exp(x)+1) if x < 0 else x
  print(sess.run(tf.nn.elu([-1., 0., -1.])))
  [-0.63212055 0. 1. ]
  下面使一些图形

Activation functions of softplus, ReLU, ReLU6, and exponential LU Sigmoid, hyperbolic tangent (tanh), and softsign activation function

好了，基础性的东西介绍就先到这里，可否赞一个？你的支持就是我的动力！