深度学习04-导数回顾

1. 什么是导数

    当函数y=f(x)的变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，df(x0)/dx。也就是说，导数是描述数学中描述函数在坐标系的斜线的变化率，导数越大，斜率越大，变化率越高。

2. 如何计算导数

    如图所示，函数f(a)将x右移0.001，则y的值将变大0.003，将y的增加值/x的增加值，即为df(x0)/dx的导数=3。

一次方程导数

    需要注意的是导数是可变的，在1元2次函数中，不同的地方斜率不一样，导数也不一样，但计算方法不变。

1元2次函数

    在2元2次函数中的表示也是可变的：通过a点可以有多个切线，此时需要做切面才可只算导数（这点可以不用深究）

3. 为什么要计算导数：

    一个神经网络的计算，都是按照前向传播过程或反向传播过程来实现的。首先计算出神经网络的输出，紧接着进行一个反向传输操作；而对于反向传播过程我们用来计算出对应的梯度或导数。