美文网首页
吴恩达机器学习笔记（2）- 梯度下降

吴恩达机器学习笔记（2）- 梯度下降

作者: YANWeichuan | 来源:发表于2018-09-29 22:45 被阅读0次

梯度下降目标

对于代价函数：J( θ_0, θ_1) = \frac{1}{2m}\sum_{i=1}^{m}{(h_\theta(x^i) - y^i)^2}
需要找到最小值时对应的 θ0和 θ1，即是我们期望的拟合的最好的线性函数。
找到这个最小值的方法即使梯度下降。

梯度下降的计算方法

在沿着坡度下降的方向，以某种步伐α向前迭代，在多个变量情况下，需要同时更新变量。

线性回归的梯度下降

对于线性预测函数：hθ(x) = θ0 + θ1x
以及其代价函数：J( θ_0, θ_1) = \frac{1}{2m}\sum_{i=1}^{m}{(h_\theta(x^i) - y^i)^2}
偏导数的计算推导为：
\frac{\partial}{\partialθ_0}{J( θ_0, θ_1)}=\frac{\partial}{\partialθ_0}{\frac{1}{2m}\sum_{i=1}^{m}{(h_\theta(x^i) - y^i)^2}}
=\frac{\partial}{\partialθ_0}{\frac{1}{2m}\sum_{i=1}^{m}{((θ_0 + θ_1x^i) - y^i)^2}}
=\frac{\partial}{\partialθ_0}{\frac{1}{2m}\sum_{i=1}^{m}{(θ_0^2 + 2θ_0(θ_1x^i - y^i) + (θ_1x^i - y^i)^2)}}
={\frac{1}{2m}\sum_{i=1}^{m}{(2θ_0 + 2(θ_1x^i - y^i)) }}
={\frac{1}{m}\sum_{i=1}^{m}{((θ_0 + θ_1x^i) - y^i)}}
={\frac{1}{m}\sum_{i=1}^{m}{(h_θ(x^i) - y^i)}}

\frac{\partial}{\partialθ_1}{J( θ_0, θ_1)}=\frac{\partial}{\partialθ_1}{\frac{1}{2m}\sum_{i=1}^{m}{(h_\theta(x^i) - y^i)^2}}
=\frac{\partial}{\partialθ_1}{\frac{1}{2m}\sum_{i=1}^{m}{((θ_0 + θ_1x^i) - y^i)^2}}
=\frac{\partial}{\partialθ_1}{\frac{1}{2m}\sum_{i=1}^{m}{(θ_1^2(x^i)^2 + 2θ_1x^i(θ_0 - y^i) + (θ_0 - y^i)^2)}}
={\frac{1}{2m}\sum_{i=1}^{m}{(2θ_1(x^i)^2 + 2(θ_0 - y^i)x^i) }}
={\frac{1}{m}\sum_{i=1}^{m}{((θ_0 + θ_1x^i) - y^i)x^i}}
={\frac{1}{m}\sum_{i=1}^{m}{(h_θ(x^i) - y^i)x^i}}

梯度下降的算法为：

相关文章

网友评论

      本文标题：吴恩达机器学习笔记（2）- 梯度下降

      本文链接：https://www.haomeiwen.com/subject/kfmboftx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|吴恩达机器学习笔记（2）- 梯度下降|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！