梯度与梯度下降法

作者: 梅雪殇 | 来源:发表于2019-02-25 19:49 被阅读0次

声明: 本文有一部分本人自己的观点和理解, 不一定完全正确, 仅供参考. 如果发现错误或者有疑问的地方, 请指出, 谢谢!

方向导数

导数和偏导数的概念比较简单而且很多人接触过，这里不进行赘诉。

我们直接看方向导数。
对于多变量函数 $F(x, y, z)$ , 我们想知道它在点 $P_0$ 沿方向 $\vec l$ 的变化率，用 $\left. \frac {\partial F} {\partial {\vec l}} \right| _{P_0}$ 表示。这就是函数F在P点沿方向 $\vec l$ 的方向导数。

如果你熟悉偏导数的话，你可以看出来方向导数和偏导数很像。偏导数是函数在特定方向上（如x轴， y轴）的变化率。方向导数是函数在任意方向上的变化率。方向导数可以理解为在任意方向上的偏导数。毕竟我们对于函数的研究不能仅仅局限在某几个方向。

方向导数公式
$\begin{align} \left. \frac {\partial F} {\partial {\vec l}} \right| _{P_0} &= lim \frac {F(P) - F(P_0)} {|PP_0|} \\ &= \left. \frac {\partial F} {\partial x} \right| _{P_0} cos \alpha + \left. \frac {\partial F} {\partial y} \right| _{P_0} cos \beta + \left. \frac {\partial F} {\partial z} \right| _{P_0} cos \gamma \end{align}$

其中 $cos \alpha$ , $cos \beta$ , $cos \gamma$ 分别为 $\vec l$ 与x, y, z 的方向余弦。

梯度

知道了方向导数，我们考虑一个问题：一个点有无数个方向，也就有无数个方向导数（前提是方向导数存在），那么我们最关心的是哪个？（总不能都关心吧，那也太花心了）答案是我们关心最大的方向导数。

最大的方向导数意为着沿着这个方向函数变化最快（函数的变化率最大）。

哪个方向的方向导数最大？

把方向导数的公式变换一下
$\begin{align} \left. \frac {\partial F} {\partial {\vec l}} \right| _{P_0} &= \left. \frac {\partial F} {\partial x} \right| _{P_0} cos \alpha + \left. \frac {\partial F} {\partial y} \right| _{P_0} cos \beta + \left. \frac {\partial F} {\partial z} \right| _{P_0} cos \gamma \\ &= G *（cos \alpha, cos \beta, cos \gamma） \\ &= |G| cos<G, \vec l> \end{align}$
其中 $G=(\left. \frac {\partial F} {\partial x} \right| _{P_0}, \left. \frac {\partial F} {\partial y} \right| _{P_0}, \left. \frac {\partial F} {\partial z} \right| _{P_0})$
由向量的知识，我们知道当 $\vec l$ 与G同向时，即 $cos<G, \vec l> =1$ 时值最大。