tensorflow-internals阅读笔记（1）

原书作者：刘光聪
简书主页：https://www.jianshu.com/u/49d1f3b7049e
Github地址：https://github.com/horance-liu/tensorflow-internals

总觉得做机器学习不能一直流于表面，一直调用框架的API，这样会失去个人的竞争力。想要看框架的源代码，却总感觉项目过于庞大而无从下手。感谢作者这本开源的中文书籍填补了这方面的空白。于此记录下阅读过程中的一些心得与疑惑，作为一个长期系列不定时更新。

基础概念

OP：即operation，节点。节点用来构建计算图，可以是数据的起点、终点或中间的运算。
Kernel：

Kernel是OP在某种硬件设备的特定实现，它负责执行OP的运算。

环境配置

因为使用的Windows系统，并且Linux服务器上我的权限不够，所以没有一步一步地按照书上的教程用源码编译，不过也简单构建了一个C++工程用来阅读源码，具体操作如下：
安装tensorflow：傻瓜式操作

pip install tensorflow-gpu

使用Visual Studio构建工程，将头文件的目录导入：

15286196-31471697c94942d4.png

（第二章结束）

单层感知器构建与TensorBoard初体验

按照书中3.2章内容构建单层感知器训练mnist数据集，整合的代码如下：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# 引入mnist数据集
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

# 定义输入和标签
x = tf.placeholder(tf.float32, [None, 28, 28, 1])
t = tf.placeholder(tf.float32, [None, 10])

x = tf.reshape(x, [-1, 784])

# 定义模型参数
w = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))

init_op = tf.global_variables_initializer()

# matmul:矩阵乘法
y = tf.nn.softmax(tf.matmul(x, w) + b)

# 交叉熵
cross_entropy = -tf.reduce_sum(t*tf.log(y))

# argmax:返回指定维度上的最大值
is_correct = tf.equal(tf.argmax(y, 1), tf.argmax(t,1))
accuracy = tf.reduce_mean(tf.cast(is_correct, tf.float32))

# 优化器
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.003)
train_step = optimizer.minimize(cross_entropy)

with tf.Session() as sess:
    # 初始化所有参数
    sess.run(init_op)

    # 将loss, 准确度在tensorboard中进行输出
    tf.summary.scalar('loss', cross_entropy)
    tf.summary.scalar('accuracy', accuracy)
    merged = tf.summary.merge_all()
    train_writer = tf.summary.FileWriter('E:\\DeepLearning\\tensorflow源码剖析\\logs\\mnist1\\train', sess.graph)
    test_writer = tf.summary.FileWriter('E:\\DeepLearning\\tensorflow源码剖析\\logs\\mnist1\\test')

    for step in range(1000):
        batch_xs, batch_ys = mnist.train.next_batch(100)
        summary, _ = sess.run([merged, train_step], feed_dict={x:batch_xs, t:batch_ys})
        train_writer.add_summary(summary, step)

        if step%100 == 0:
            summary, acc = sess.run([merged, accuracy], feed_dict={x:mnist.test.images, t:mnist.test.labels})
            test_writer.add_summary(summary, step)

其他代码在书中都有提到，这里主要记录TensorBoard相关的代码。
首先记录想要输出的两个标量，loss和准确度，再merge起来

# 将loss, 准确度在tensorboard中进行输出
tf.summary.scalar('loss', cross_entropy)
tf.summary.scalar('accuracy', accuracy)
merged = tf.summary.merge_all()

定义writer，将变量写入文件

train_writer = tf.summary.FileWriter('E:\\DeepLearning\\tensorflow源码剖析\\logs\\mnist1\\train', sess.graph)
test_writer = tf.summary.FileWriter('E:\\DeepLearning\\tensorflow源码剖析\\logs\\mnist1\\test')

在训练的同时，计算相关数据并写入文件。

summary, _ = sess.run([merged, train_step], feed_dict={x:batch_xs, t:batch_ys})
train_writer.add_summary(summary, step)
summary, acc = sess.run([merged, accuracy], feed_dict={x:mnist.test.images, t:mnist.test.labels})
test_writer.add_summary(summary, step)

启动Tensorboard

tensorboard --logdir=E:\DeepLearning\tensorflow源码剖析\logs\mnist1

在浏览器中打开对应的地址

image.png
image.png

在scalars页面中可以看到记录的数据的变化趋势，在graph页面中可以看到网络结构。但由于没有使用子命名空间整理节点，无法从图中理解有意义的网络结构。在下一步多层感知器的构建中我将尝试使用子命名空间整理节点，使图的可视化效果更好一点。