/*************************************************************

2017年7月3日 增加tensorboard的histogram的说明

**************************************************************/

因为网上找的tensorboard教程都是在比较复杂的网络下应用，而且把几个部分都糅合在一起，对于初学者比较难看懂基本套路。所以本文分成4个部分：

例子 1：只生成 GRAPHS

例子 2：在 1 的基础上生成 scale

例子 3：在 2 的基础上生成 histogram

例子 4：生成 image输入到tensorboard

本小节的例子是建立在一个最简单的线性回归问题上的： y=k*x

在预测值上加上高斯噪声，预测k的真实值

这里高斯噪声的方差很小，应该很容易得到 k=2

建立TensorBoard中的graph：

  graph的优点是很直观的显示每个计算节点之间的关系，这对理解一个网络是很重要的。而要得到这个graph也很简单。

1.将每一个节点包括在name_scope下

tf中输入输出可以看做node(节点),每一次运算看做一个节点，所以将每一个节点命名可以很方便的建立一个计算图。tf.name_scope为限定命名空间，所有这个with下的节点会被自动命名为输入的名称，同时注意到name_scope是可以嵌套的，这样可以将很复杂的网络分解成好几个部分。

2.融合所有summery

实际上如果只是可视化Graph,不需要融合summary。但是一般都还需要记录一些标量，直方图的信息，这时候就需要融合summary.

同时就好像init一样，merge是类的方法，需要sess来运行。运行merge将得到所有你定义的输出信息，然后将这些信息写到文件里面去（第三步），就完成啦

3.定义一个FileWriter,用来存放各种数据（第一个参数是数据存放的地址）,在writer的数据写入完毕后关闭writer

#（1）定义一个writer,一般在开始训练前定义

writer=tf.summary.FileWriter('./mylog',sess.graph)

#这句指令定义了文件的输出地址，同时也将计算图 sess.graph加入了记录器，这样在TensorBoard的GRAPHS窗口就可以展示整个计算图的可视化效果了

#（2）利用writer来写入各种信息（但是这个例子用不到，所以只需要定义就好啦）

#下面m_是summary信息，i是epoch

writer.add_summary(m_,i)

.......

#（3）所有写入完成后可以关闭文件

writer.close()

结果：

网络的整体视图如下，

每一个大graph里面有小的subgraph可以详细查看.（因为嵌套了3次运算，所以loss里面有3个node）

参数（标量）的监视（scale）

上面的例子中，有两个标量，分别是猜测的k值和loss值。

在一般的dl程序中，至少会有两个标量（loss 和accuracy）

加入标量到tensorboard很简单

1.将标量加入summery

tf.summery.scale('name',your_scale)

2.得到summery里面的值，写入文件里面，实际上

merge=tf.summary.merge_all()

执行这个指令可以将所有的summerary都计算出来，然后得到这些数后写进文件里面

3.将summary的信息（上面的m_）写入文件里面.

writer.add_summary()

效果

直方图的监视（histogram）

显然上面的scale只能输入的是标量，那么假如你想要输入的是高维的信息呢（比如某一隐藏层的输出 N*D维度）

1.将目标加入histogram中

2.运行summary.merge_all()方法得到信息

3.写入文件

效果

总结

实际上从上面的3个例子可以看出tensorboard的使用是很简单的

1.定义各种命名空间，也就是将各个运算节点用 name_scope包括，就可以统一命名，方便GRAPHS的展示

2.定义文件writer来写入各种summary信息。注意writer并不是只能有一个，可以定义两个，一个用来写train的数据，一个用来写test的数据

3.将感兴趣的量（标量，多维向量）加入到summary中

4.在自己定义的时间点计算这些summary信息: sess.run(tf.summary.merge_all())有可能需要feed_dict传递一些输入。

5.将得到的信息利用前面定义的writer写入到文件里面

6.程序运行完毕后，打开tensorboard就可以啦

输出自己定制的image

下面展示在tb里面输出image,也就是绘制的线性回归图。

因为想要显示的图片是有matplotlib生成的，所以先定义一个函数，其功能有：

生成图片 -> 将图片保存到内存中 -> 将这段内存传递出去

那么调用这个函数就能够生成想要的png格式的图片。

真正的将image嵌入到tensorboard里面的工作就可以开始了。

和scale，histogram一样，image的步骤仍然是定义、运算、写入

效果展示：

histogram/distribution 的图像怎么看

在tensorboard中经常看到会把weight和biases放到histogram中观察，但是每次看到这些图都是一脸懵逼，完全不知道怎么解读这些图片，下面是我从stackoverflow 上找到的一种解答

上面的wight定义是均值为0，方差为1的服从正态分布的一组参数。从数学知识可以知道，正态分布绝大部分的值应该都分布在离均值很近的地方，只有很少一部分才会离均值很远。所以上面的histogram应该是反映下面这样的正态分布的图

由正态分布图可知有（19.1+19.1=38.2%）的数会落在（-0.5,0.5）的区间，那么再看tb的图，这个区间（-0.5,0.5）有比较淡的蓝色，符合数学知识。

再从正态图得到：大约有86.6%的值会落在（-1.5,1.5）区间内，从tb的图（-1.5,1.5）这个区间的蓝色最强，说明有很大部分的值是在这个区间内

所以从上面我们就能够知道，tb的distribution 图的颜色主要和值得分布有关，假如有很大比例的数分布在某个区间，这个区间的色彩就会强，假如很少比例的数在这个区间，这区间的色彩就越淡

下面是我的网络中全连接层的权值distribution

histogram

可以看到这一权值很大比例是分布在0的附近，整体来说这部分值都很接近0。这样就可以很容易的观察到权值分布的信息，比如知道那一部分的权值已经dead(很接近0)