TensorFlow 基础(5)

awesome-tensorflow

感知机(单层神经网络)

输入层
输出层:

初始化权重

• 初始化权重
• 设计模型
• 损失函数
  
  通过推导我们可以得到 变化率的公式
  
• 优化更新权重
  
  

基本流程

1. 输入

   • 数据集 D
   • 学习率
   • 停止条件: 误差率指定阈值 和最大迭代次数

2. 初始化连接权重

3. 输入样本

4. 更新权重
   
   
   
   

5. 停止条件，判断是否满足条件如果满足条件，模型误差小于指定误差阈值或是迭代次数大于最大迭代次数

6. 输出，如果满足条件就将模型作为输出
   

线性回归问题

线性回归通常都是用于预测问题，例如预测苹果的股价，天气预测。今天我们所采用优化算法为梯度下降，这个想必再熟悉不过了，梯度下降几乎是代表深度学习的优化算法的首选。

我们通常有关神经网络打发就是先准备数据集，这也是脏活和累活。

准备数据

points_num = 100
vectors = []
# 用 numpy 的正态随机分布函数生成 100 个点，这些点(x,y)坐标值x 和 y 关系对应线性方程 y = 0.1 * x + 0.5
# 权重为 0.1 偏差为 0.5

for i in range(points_num):
    x1 = np.random.normal(0.0, 0.66)
    y1 = 0.1 * x1 + 0.5 + np.random.normal(0.0,0.04)
    vectors.append([x1, y1])

这里我们需要通过根据采集数据点找到 这条直线。这里通过np.random.normal(0.0,0.04)给函数值添加一些噪声。

x_data = [v[0] for v in vectors] # x 坐标(输入值)
y_data = [v[1] for v in vectors] # y 坐标(预期值)

# 图像 1：展示 100 随机数据点
plt.plot(x_data,y_data,'b*',label="Original data")
plt.show()

图

我们使用 matplot 将我们生成随机点显示出来，这样我们可以更加直观观察到这些点分布情况。通过观察这些点我们很容易发现他们规律。

初始化变量定义模型

W = tf.Variable(tf.random_uniform([1],-1.0,1.0)) # 初始化权重
b = tf.Variable(tf.zeros([1])) # 初始化 Bias
y = W * x_data + b #模型计算出来 y

这里我们通过tf.Variable 来定义变量，

定义损失函数

loss = tf.reduce_mean(tf.square(y - y_data))

这里我么使用损失函数为

定义优化器

optimizer = tf.train.GradientDescentOptimizer(0.5) #设置学习率为 0.5 
train = optimizer.minimize(loss)

初始化变量

# 创建会话
sess = tf.Session()
# 初始化数据数据流图中所有变量
init = tf.global_variables_initializer()
sess.run(init)

global_variables_initializer()帮助我们初始化所有参数。

开始训练

steps = 20
for step in range(steps):
    # 优化每一步
    sess.run(train)
    # 打印出每一步的损失、权重和偏差
    print("step=%d loss=%f, [Weight=%f,Bias=%f]" % (step,sess.run(loss),sess.run(W),sess.run(b)))

我们看一下训练结果，当19步 loss 就到了 0.001560 从 weight 和 bias 的预测值可以看出已经很接近我们期望值 0.1 和 （偏移值）0.5

step=17 loss=0.001560, [Weight=0.103602,Bias=0.497746]
step=18 loss=0.001560, [Weight=0.103613,Bias=0.497745]
step=19 loss=0.001560, [Weight=0.103619,Bias=0.497745]

显示结果

plt.plot(x_data,y_data,'b*',label="Original data")
plt.title("Linear Regression using Gradient Descent")
plt.plot(x_data,sess.run(W) * x_data + sess.run(b), label="Fitted line")
plt.legend()
plt.show()

图

完整代码

#coding=utf-8
"""
线性回归
"""
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf

# 构造数据
points_num = 100
vectors = []
# 用 numpy 的正态随机分布函数生成 100 个点，这些点(x,y)坐标值x 和 y 关系对应线性方程 y = 0.1 * x + 0.5
# 权重为 0.1 偏差为 0.5

for i in range(points_num):
    x1 = np.random.normal(0.0, 0.66)
    y1 = 0.1 * x1 + 0.5 + np.random.normal(0.0,0.04)
    vectors.append([x1, y1])

x_data = [v[0] for v in vectors] # x 坐标(输入值)
y_data = [v[1] for v in vectors] # y 坐标(预期值)

# 图像 1：展示 100 随机数据点
# plt.plot(x_data,y_data,'b*',label="Original data")
# plt.show()

# 用梯度下降来解决这个问题
# 构建线性回归模型
W = tf.Variable(tf.random_uniform([1],-1.0,1.0)) # 初始化权重
b = tf.Variable(tf.zeros([1])) # 初始化 Bias
y = W * x_data + b #模型计算出来 y

# 定义 loss function(损失函数)
# 对 Tensor 的所有维度计算 $(y - y_data)^2/points_num $
#
loss = tf.reduce_mean(tf.square(y - y_data))

# 用梯度下降优化器来优化 loss 函数
optimizer = tf.train.GradientDescentOptimizer(0.5) #设置学习率为 0.5 
train = optimizer.minimize(loss)

# 创建会话
sess = tf.Session()
# 初始化数据数据流图中所有变量
init = tf.global_variables_initializer()
sess.run(init)

# 训练 20 步
steps = 20
for step in range(steps):
    # 优化每一步
    sess.run(train)
    # 打印出每一步的损失、权重和偏差
    print("step=%d loss=%f, [Weight=%f,Bias=%f]" % (step,sess.run(loss),sess.run(W),sess.run(b)))
    
# 图像绘制所有点并且绘制出得到最佳拟合的曲线(直线)

plt.plot(x_data,y_data,'b*',label="Original data")
plt.title("Linear Regression using Gradient Descent")
plt.plot(x_data,sess.run(W) * x_data + sess.run(b), label="Fitted line")
plt.legend()
plt.show()

# 关闭会话
sess.close()

代码

https://github.com/zideajang/tf_in_action/tree/master/basic