辅助知识：
深度学习算法更适合未标记数据，更适合强特征提取（深度框架），也更适合于模式识别（图像、文本、音频）
机器学习系统由三个主要部分组成，包括：
- 模型：用来预测或识别的系统。
- 参数：模型做决定所使用的信号或因素。
- 学习器：这个系统通过检查预测和实际输出的差异来调整参数，再对模型进行调整。
示例过程：
1，你想确认如果学生要在考试中取得好成绩，最优的学习时间会是多少。
2，输入假设，即学习 5 个小时就可以取得好成绩。
3，系统根据假设生成模型。
4，输入实际信息，即每个学生的学习时间和考试成绩。
5，系统根据这些数据（训练集）进行学习调整。
6，重复4-5步，直到接近真实。
神经网络的实现过程
1，准备数据集，提取特征作为输入喂给神经网络（Neural Network，NN）
2，搭建 NN 结构，从输入到输出（先搭建计算图再用会话执行）（NN前向传播算法 ———— 计算输出）
3，大量特征数据喂给 NN ，迭代优化 NN 参数（ NN 反向传播算法 ———— 优化参数训练模型）
4，使用训练好的模型预测和分类
运行过程：
神经网络计算过程
代码示例1
#coding:utf-8
import tensorflow as tf
#定义输入和参数
x=tf.placeholder(tf.float32,shape=(None,2))
w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))
#定义向前传播过程
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)
#用会话计算结果
with tf.Session() as sess:
init_op=tf.initialize_all_variables()
sess.run(init_op)
print "y is:\n",sess.run(y,feed_dict={x:[[0.7,0.5],[0.2,0.3],[0.3,0.4],[0.4,0.5]]})
知识点
1，反向传播：训练模型参数，在所有参数上用梯度下降，使NN模型在训练数据上的损失函数最小。
2，损失函数（loss）：计算得到的预测值y与已知答案y_的差距。
3，均方误差MSE：求前向传播计算结果与已知答案之差的平方再求平均。
4，学习率：决定每次参数更新的幅度。
示例代码2
#coding:utf-8
import tensorflow as tf
import numpy as np
BATCH_SIZE=8
seed=23455
#基于seed产生随机数
rng=np.random.RandomState(seed)
#随机数返回32行2列的矩阵 表示32组 体积和重量 作为输入数据集
X=rng.rand(32,2)
#从X这个32行2列的矩阵中 取出一行 判断如果和小于1 给Y赋值1 如果和不小于1 给Y赋值0
#作为输入数据集的标签（正确答案）
Y=[[int(x0+x1<1)] for (x0,x1) in X]
print "X:\n",X
print "Y:\n",Y
#定义神经网络的输入 参数和输出，定义前向传播过程。
x=tf.placeholder(tf.float32,shape=(None,2))
y_=tf.placeholder(tf.float32,shape=(None,1))
w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))
#定义向前传播过程
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)
#定义损失函数及反向传播方法
loss=tf.reduce_mean(tf.square(y-y_))
train_step=tf.train.GradientDescentOptimizer(0.001).minimize(loss)
#train_step=tf.train.MoentumOptimizer(0.001).minimize(loss)
#train_step=tf.train.AdamOptimizer(0.001).minimize(loss)
#生成会话，训练STEPS轮
with tf.Session() as sess:
init_op=tf.initialize_all_variables()
sess.run(init_op)
#输出目前（未经训练）的参数取值
print "w1:\n",sess.run(w1)
print "w2:\n",sess.run(w2)
print "\n"
#训练模型
STEPS=3000
for i in range(STEPS):
start=(i*BATCH_SIZE)%32
end=start+BATCH_SIZE
sess.run(train_step,feed_dict={x: X[start:end],y_: Y[start:end]})
if(i%500)==0:
total_loss=sess.run(loss,feed_dict={x:X,y_:Y})
print("After %d training step(s),loss on all data is %g"%(i,total_loss))
#输出训练后的参数取值
print "\n"
print "w1:\n",sess.run(w1)
print "w2:\n",sess.run(w2)
参考： 机器学习是如何运作的？谷歌来告诉你
参考： 为什么会有深度学习？如何看待？
参考： 人工智能实践：Tensorflow笔记
网友评论