简单来说
对于单层感知机来说前项传播就是 y = wx+b 。可用如下图表示
反向传播就是 通过真实值和预测值的产生的误差返回去调整w和b的过程
用流程图来表示，如下
说到这里，正向传播就是y=wx+b，如此简单。
那么这个反向传播的这个loss如果得到呢？
在数据训练前我们会有 训练数据，我们叫输入值(就是x)，初始值(w,b),预测标签(label)
那么用y = wx+b 就可以得到 预测值y。那么loss = label-y。
说完了前向传播，我们再来说说这个反向传播。
现在我们已经拿到了loss了，如何将w,b更新上去呢？
我们将初始的w,b 定义成w0,b0 ,现在我们要得到的是w1,b1 。
按照t度下降的规则，我们可以得到,其中rate为步长
W1 = W0-rate*( Loss对w求导 )
B1 = B0 - rate*(Loss对B求导)
其中Loss对w求导的细则可以自己试着推导下(其中就是运用了复合函数的求导法则)，其推到结果如下
W1 = W0-rate * Loss * W0
B1 = B0-rate * Loss
那么我们的正向传播和反向传播算法就可以结合起来反复计算出W和B的最优解了
网友评论