Week1

Week1

作者: Jedore | 来源:发表于2018-10-17 21:29 被阅读0次

监督学习 Supervised Learning
数据集有明确的答案，根据样本数据预测
分类问题
回归问题
无监督学习 Unsupervised Learning
数据集没有答案，自动分局特征分类
单变量线性回归 Linear Regression With One Variable
- 模型表示 $h_\theta(x)=\theta_0+\theta_1x$
  代价函数 $J(\theta_0,\theta_1)=\frac{1}{2m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})^2$
- 梯度 gradient
  梯度就是偏导数, 而斜率是梯度的一个特例
- 梯度下降 Gradient Descent
  对于一个可微分的函数，确定一组初始值，找到这组值对应的梯度，然后在梯度相反的方向对这组值进行减小，通过不断的寻找梯度并减小这组值，最后找到使函数值最小的组合值
- 批量梯度下降 Batch Gradient Descent
  在梯度下降的每一步中都使用了所有的样本，得到的是一个全局最优解，如果训练样本过大，那么迭代速度则会过慢
  $\theta_j:=\theta_j-\alpha\frac{\delta} {\delta\theta_j}J(\theta_0,\theta_1) \ (for j=0\ and\ j=1)$
- 随机梯度下降 Stochastic Gradient Descent
  在梯度下降的每一步中选取一个样本来求取梯度，并不是每一步都是全局最优解，但整体方向是全局最优的，最后可能会在全局最优解附近，由于只使用了部分样本，速度较快
  $\theta_j=\theta_j-\alpha\frac{\delta}{\delta\theta_j}(h_{\theta}(x^{(i)}) - y^{(i)})^2$
- 线性回归运用梯度下降
  $j=0, \frac{\delta}{\delta\theta_0}J(\theta_0,\theta_1)=\frac{1}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})$
  $j=1, \frac{\delta}{\delta\theta_1}J(\theta_0,\theta_1)=\frac{1}{m}\sum^m_{i=1}(( h_\theta(x^{(i)})-y^{(i)})*x^{(i)})$
  改写为
  $\theta_0:=\theta_0-\alpha\frac{1}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})$
  $\theta_1:=\theta_1-\alpha\frac{1}{m}\sum^m_{i=1}((h_\theta(x^{(i)})-y^{(i)})*x^{(i)})$
深入浅出-梯度下降法及其实现
Gradient
机器学习-随机梯度下降(Stochastic gradient descent)和批量梯度下降(Batch gradient descent)

相关文章

网友评论

本文标题：Week1

本文链接：https://www.haomeiwen.com/subject/myurzftx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|Week1|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！