tensorflow常用知识

随机函数 常数生成函数

tensorflow变量管理设计了collection的概念。

其中，tensorflow设计了一些常见的collection。经常使用的如tf.GraphKeys.VARIABLES

张量初始化时两个属性是非常重要的，即维度（shape）和类型（type）。变量的类型设定后是无法动态变更的。但是，shape属性在程序运行过程中是有可能更改的，但是需要显示设置参数validate_shape=False。

损失函数

损失函数softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy之间的区别与联系

https://www.jianshu.com/p/47172eb86b39

自定义损失函数

需要根据实际问题自行建模，损失函数不一定是交叉熵。一般对于分类问题才使用交叉熵。

而实际情况中，目标函数的种类确实是多样化的。

优化方法：梯度下降法和随机梯度下降法，以及mini-batch梯度下降法的特点。