方向导数和梯度

为什么会有方向导数？

在微积分课程中，我们知道函数在某一点的导数（微商）代表了函数在该点的变化率。微分和积分，它们的定义都是建立在极限的基础上。对于单变量函数f(x)，它在x0处导数是：当x趋近于x0时，函数的改变量与自变量的改变量的比值的极限，即微商（导数）等于差商的极限

对于单变量函数，自变量只有一个，当x趋近于x0时只能在直线上变动，移动的方向只有左右两方。

然而，对于多变量函数，自变量有多个，表示自变量的点在一个区域内变动，不仅可以移动距离，而且可以按任意的方向来移动同一段距离。因此，函数的变化不仅与移动的距离有关，而且与移动的方向有关。因此，函数的变化率是与方向有关的。这也才有了方向导数的定义，即某一点在某一趋近方向上的导数值。假设给定函数u=u(M)，取一点M0=(x0,y0,z0)，L是由M0出发的任一半直线，则u在M0点L的方向导数定义为:

梯度

上面有了方向导数的定义，我们进一步来推导方向导数的表示，命L的方向余弦为(cosα,cosβ,cosγ)，则L上的M可表示为

于是u对L的方向导数为

注意，在上面的推导中用到了全微分公式.

令向量, L方向可以表示为. 因为l是一个单位向量，所以

这表达了L上的方向向量其实是n在L方向上的投影。当L的方向变化，投影量随之改变，也就代表了不同的方向导数。当L与n同向时，便取得最大值|n|，我们称n为u在该点的梯度。可以看到梯度即是某一点最大的方向导数，沿梯度方向函数有最大的变化率（正向增加，逆向减少）。

另外还可以证明，在某一点的梯度方向，就是过该点的等值面的切平面的法线方向。但需要注意的是，这并不是定理，只是等值函数的法向量的表达式与函数的梯度的表达式一致而已，并非两者之间必然的存在关系。因此，在某一点沿着梯度看去，等值面分布最密，即达到临近等值面的距离最小。

多变量函数的极值

对于单变量函数，若在某点取得极值，则该点的导数为0。同样对于多变量函数，在某点为极大值或极小值只有当在该点的每个偏导数等于0才有可能，也就是说梯度等于0。因此，在多变量函数中，驻点，也就是导数为0的点，指的是每个偏导数等于0，也就是梯度等于0的点。进而，在求极值时，我们可以先找到梯度为0的驻点，在通过定理（查书呗）判断它是否是极值点，极大值还是极小值。

原文参考:http://blog.csdn.net/wolenski/article/details/8030654