首先，我们接着昨天的问题， 看看反向传播的过程在tf中是如何直接使用的。
cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)
代码第一行我们定义了损失函数，OK这什么意思啊tf.reduce_mean到底是干嘛的，百度一下。
tf.reduce_mean：取平均值
tf.log：计算对数
tf.clipbyvalue:把y的值都变成1e-10和1之间
原来第一行就是简易算去交叉熵的方法，第二行就是设置了一个优化器，目的是最小化交叉熵，然后调用了一个优化器，学习率为0.01.
sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
那么接下来我们就建立会话，运行这个训练过程并输入训练集即可。
以上便是反向传播算法的一个小事例，接下来看一下完整的神经网络代码。
import tensorflowas tf
from numpy.randomimport RandomState
batch_size =8
w1 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=2))
x = tf.placeholder(tf.float32,shape=(None,2),name='x-input')
y_= tf.placeholder(tf.float32,shape=(None,1),name='y-input')
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)
cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)
rdm = RandomState(1)
dataset_size =128
X = rdm.rand(dataset_size,2)
Y = [[int(x1+x2<1)]for (x1,x2)in X]
with tf.Session()as sess:
init_op = tf.global_variables_initializer()
sess.run(init_op)
print(sess.run(w1))
print(sess.run(w2))
STEPS =5000
for iin range(STEPS):
start = (i*batch_size) % dataset_size
end =min(start+batch_size,dataset_size)
sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
if i %1000 ==0:
total_cross_entropy = sess.run(cross_entropy,feed_dict={x:X,y_:Y})
print("经过%d次的迭代训练，目前的交叉熵是%g"%(i,total_cross_entropy))
print(sess.run(w1))
print(sess.run(w2))
首先我们需要定义变量，也就是两组神经网络的权重，然后定义网络结构，输入层和隐层。以上便定义好了网络结构，然后就开始定义损失函数和训练步骤。中间随机生成训练数据集的过程我们就不说了，然后便开始定义会话，在会话中先打印了初始的权重矩阵，然后我们定义循环训练500次，start和end是每次训练是训练集数据的索引，然后调用训练函数，在训练结束后打印权重矩阵，截图如下：
所以综上所述，我们使用TF建立神经网络的步骤是：
1.定义网络参数和网络结构
2.定义损失函数和优化器
3.建立会话，定义 训练次数，循环的调用优化函数
网友评论