0123数学-向量-梯度-梯度下降

作者: 张老师Klog | 来源:发表于2019-01-23 22:42 被阅读127次

点击这里进入人工智能嘚吧嘚目录,观看全部文章


向量Vector

向量就是有方向的数量。

我们日常使用的数字都是一维的,就是说只有一个x方向,越往右数字越大。同样可以说,任意一个数字都表示了这个方向上的一个位置。只有一个方向的一般不叫向量而叫标量

但在二维平面中要表示一个点,就需要横向和竖向两个数字了。

上图可以换一个用箭头表示的方法,你会发现神奇的规律。


图中线段a'是由线段a向右平移2向上平移1复制得到的,b'是由b平移复制得到的,这样就得到一个平行四边形,而右上角的点的x、y位置肯定相当于A、B两个点x和y分别相加的结果,即A+B。

(1,3)这样用两个数字表示平面上一个点,或者说表示从(0,0)出发到这个点的一个箭头。这样的有两个方向的数字组合成为二维向量

思考题:你能想象由x,y,z三个数字组成的三维向量的图像含义吗?三维空间两个向量点相加结果,是否也会等于每个方向上的数字相加呢?

梯度\nablaGradient

回到上节讲到的偏微分图像,如下图。

两条绿色短线分别表示A点在x方向上和y方向上的两个切线的斜率值,而红色箭头所指的就是x、y方向上两个斜率值相加的结果。

这个红色箭头意味着什么?
如果整个红橙色兜形曲面表示一个山坳,那么你站在A点,红色箭头就指向你面前最陡峭的山坡方向,相反,你沿着红色箭头反方向前进,就是下坡最快的的方向。

这个红色箭头表示的方向就叫做梯度,它是指各变量方向偏微分导数(斜率)向量之和,用梯度符号\nabla['næblə]表示

梯度下降Gradient Descent

继续上面的梯度问题,我们如何快速走到山坳最低点(黑色区域最黑处)?

在曲面上任选一个点A,然后我们不断沿着负梯度的方向前进,变化x、y值,一步步下去就可以快速走到山坳。

这种沿着负梯度不断前进,从而找到竖向z值最低点的方法就叫做梯度下降,这是机器学习和神经网络最初算法的数学核心概念。


点击这里进入人工智能DBD嘚吧嘚目录,观看全部文章


每个人的智能新时代

如果您发现文章错误,请不吝留言指正;
如果您觉得有用,请点喜欢;
如果您觉得很有用,欢迎转载~


END

相关文章

  • 0123数学-向量-梯度-梯度下降

    点击这里进入人工智能嘚吧嘚目录,观看全部文章 向量Vector 向量就是有方向的数量。 我们日常使用的数字都是一维...

  • 深入浅出--梯度下降法及其实现

    梯度下降的场景假设梯度梯度下降算法的数学解释梯度下降算法的实例梯度下降算法的实现Further reading 本...

  • 逻辑回归最近复习总结

    梯度下降过程向量化

  • 第二周 - Octave/Matlab Tutorial

    向量化实现(Vectorial implementation) 梯度下降转为向量化计算

  • 梯度下降算法

    一、什么叫梯度 说到梯度下降算法先说一下什么叫梯度,百度百科解释:在向量微积分中,标量场的梯度是一个向量场。标量场...

  • (三)线性回归--梯度下降

    一、梯度下降 二、代码的实现 (一.梯度下降) 导包 构建数据 梯度下降 使用梯度下降,可视化 (二。梯度下降矩阵...

  • 机器学习之梯度下降法

    梯度下降法: 如果你不明白梯度和梯度下降的数学含义,请先移步到:机器学习之数学基础 一个通俗易懂的例子: 如上图...

  • 神经网络优化2

    梯度下降 梯度下降法 批梯度下降法(Batch Gradient Descent,BGD)是最常用的梯度下降形式,...

  • 4. Logistic回归

    本章讲了logistic regression、梯度下降、随机梯度下降。书中没有提到相关的数学公式,就连cross...

  • 机器学习-常用优化方法

    一阶方法:梯度下降、随机梯度下降、mini 随机梯度下降降法。 随机梯度下降不但速度上比原始梯度下降要快,局部最优...

网友评论

    本文标题:0123数学-向量-梯度-梯度下降

    本文链接:https://www.haomeiwen.com/subject/suzsjqtx.html