api
SoftMax计算与交叉熵：
"""
tf.nn.softmax_cross_entropy_with_logits(labels=None,
logits=None,name=None)
计算logits和labels之间的交叉损失熵
labels:标签值（真实值）
logits：样本加权之后的值
return:返回损失值列表
"""
损失值列表平均值：
"""
tf.reduce_mean(input_tensor)
计算张量的尺寸的元素平均值
"""
损失下降：
"""
tf.train.GradientDescentOptimizer(learning_rate)
梯度下降优化
learning_rate:学习率，一般为
minimize(loss):最小化损失
return:梯度下降op
"""
准确性计算：
"""
1、equal_list = tf.equal(tf.argmax(y, 1), tf.argmax(y_label, 1))
2、accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
"""
Mnist数据获取：
"""
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)
"""
实现流程
单层（全连接层）实现手写数字识别
- 定义数据占位符。特征值[None, 784],目标值[None, 10]
- 建立模型：随机初始化权重和偏置。预测值y_predict = tf.matmul(x, w) + b
- 计算损失loss(平均样本的损失)
- 梯度下降优化
代码实现
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# print(mninst)
# print("图片：\n", mninst.train.images)
# print("标签：\n", mninst.train.labels)
# print("批次获取数据：\n", mninst.train.next_batch(50)) #批次可以获取多少个数据
FLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_integer("is_train", 0, "指定程序是预测还是训练")
def full_connected():
# 获取真实的数据
mninst = input_data.read_data_sets("./mnist", one_hot=True)
# 建立数据的占位符 X[None, 784] Y_true[None, 10]
with tf.variable_scope("data"):
x = tf.placeholder(tf.float32, [None, 784])
y_true = tf.placeholder(tf.int32, [None, 10])
# 建立一个全连接层的神经网络 w[784, 10] b[10]
with tf.variable_scope("fc_model"):
# 随机初始化权重和偏置
weight = tf.Variable(tf.random_normal([784, 10], mean=0.0, stddev=1.0), name="weight", trainable=True)
bias = tf.Variable(tf.constant(0.0, shape=[10]), trainable=True)
# 预测None个样本的输出结果matrix [None, 784] * [784, 10] + [10] = [None, 10]
y_predict = tf.matmul(x, weight) + bias
# 求出所有样本的损失，求平均值
with tf.variable_scope("soft_cross"):
# 求平均交叉熵损失
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_predict)) # logits:模型
# 通过梯度下降求出损失
with tf.variable_scope("optimizer"):
train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss=loss)
# 计算准确率
with tf.variable_scope("accuracy"):
# equal_list None个样本， [1,0,1,1,0,1]预测正确的为1，错误的为0
equal_list = tf.equal(tf.argmax(y_true, 1),
tf.argmax(y_predict, 1)) # 对预测样本和真实样本的每列数据选出最大的索引进行比较，再判断两者是否相等，相等为1，不等为0
accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
# 收集变量 单个数字收集
tf.summary.scalar("losses", loss)
tf.summary.scalar("accuracy", accuracy)
# 收集变量 高维度变量收集
tf.summary.histogram("weights", weight)
tf.summary.histogram("bias", bias)
# 定义一个合并变量的op
merged = tf.summary.merge_all()
# 创建一个saver
saver = tf.train.Saver()
# 开启会话进行训练
# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()
with tf.Session() as sess:
# 初始化变量
sess.run(init_op)
# 建立events文件，写入
filewriter = tf.summary.FileWriter("./", graph=sess.graph)
if FLAGS.is_train == True:
# 迭代步数去训练，更新参数预测
for i in range(20000):
# 取出真实存在的特征值和目标值
mninst_x, mninst_y = mninst.train.next_batch(50)
# 运行op训练
sess.run(train_op, feed_dict={x: mninst_x, y_true: mninst_y})
# 写入每步训练的值
summary = sess.run(merged, feed_dict={x: mninst_x, y_true: mninst_y})
filewriter.add_summary(summary, i)
print("训练{}次后，准确率为:{}".format(i, sess.run(accuracy, feed_dict={x: mninst_x, y_true: mninst_y})))
# 保存模型
saver.save(sess, "./mnist_model")
else:
# 加载模型
saver.restore(sess, "./mnist_model")
# 如果是False，作出预测
for i in range(100):
# 每次测试一张图片
x_test, y_test = mninst.test.next_batch(1)
print("第{}张图片的目标值是{}，预测值是{}".format(
i + 1,
tf.argmax(y_test, 1).eval(),
tf.argmax(sess.run(y_predict, feed_dict={x: x_test, y_true: y_test}), 1).eval()
))
if __name__ == "__main__":
full_connected()
网友评论