反向传播与神经网络初步（下）

回顾

神经网络训练过程：通过前馈得到损失，通过反馈得到梯度，通过对梯度的使用来完成权值更新。

神经网络

神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。

就像神经元需要激活一样，神经网络满足某个条件时会激活，这时候就会用到激活函数，激活函数的作用就是将原来的线性运算转化为非线性运算，激活函数有很多中方式，常见的有