手撕BP-neural-network(第一部)

BP神经网络比较简单,其核心就是链式法则.这里分为两个篇幅去记录"BP神经网络公式推导"和"BP神经网络代码实现"....这里是第一篇!

• BP网络结构图

这篇文章只注重公式推导,其中的一些小细节略过不做说明.

BP网络结构图

• 参数解释

注意看清楚每个参数含义,争取一遍弄懂~~

参数解释

• 前向传播

前向传播

• 损失函数

又名代价函数,只要是优化类算法/目标类算法基本都要有损失函数,初学者可能有点蒙,之后和似然函数等结合起来更容易理解

损失函数

• 反向传播

这里是程序核心了,结果没有给出,这里只给出求解步骤,自己动手推一遍印象更深刻.

因为这是我去年推导的,手稿全部丢失了,现在为了记录特意又写了一遍,原理我嫌麻烦~~

反向传播

• 更新计算

这里比较简单了,就是沿着切线方向更快~~高中就学过的东西,你不会全部还给老师了吧?

更新计算