在学神经网络，我们经常会听到正向传播和反向传播。那么这两个名词代表什么呢？其实很简单，如下图。
假设代价方程J=3（a+bc），我们设u=bc，v=a+u，J=3v。
图中黑色箭头的方向就代表了正向传播。当我们有了a,b,c的值时，不断的代入值最后得出代价方程的值。
那么代价方程如何进行优化呢？图中红色箭头的方向即是反向传播，得到不同神经节点的导数的过程。dJ/dv=3，dJ/da=dJ/dv * dv/da=3*1=3。其他的如此类推。
这样就构成了神经网络的正反传播的基本雏形，就是通过不断的传播循环使得网络达到最优。
用计算图来解释正向传播和反向传播
网友评论