美文网首页
Week1

Week1

作者: Jedore | 来源:发表于2018-10-17 21:29 被阅读0次
  • 监督学习 Supervised Learning
    数据集有明确的答案，根据样本数据预测
    分类问题
    回归问题
  • 无监督学习 Unsupervised Learning
    数据集没有答案，自动分局特征分类
  • 单变量线性回归 Linear Regression With One Variable
    • 模型表示 h_\theta(x)=\theta_0+\theta_1x
      代价函数 J(\theta_0,\theta_1)=\frac{1}{2m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})^2
    • 梯度 gradient
      梯度就是偏导数, 而斜率是梯度的一个特例
    • 梯度下降 Gradient Descent
      对于一个可微分的函数，确定一组初始值，找到这组值对应的梯度，然后在梯度相反的方向对这组值进行减小，通过不断的寻找梯度并减小这组值，最后找到使函数值最小的组合值
    • 批量梯度下降 Batch Gradient Descent
      在梯度下降的每一步中都使用了所有的样本，得到的是一个全局最优解，如果训练样本过大，那么迭代速度则会过慢
      \theta_j:=\theta_j-\alpha\frac{\delta} {\delta\theta_j}J(\theta_0,\theta_1) \ (for j=0\ and\ j=1)
    • 随机梯度下降 Stochastic Gradient Descent
      在梯度下降的每一步中选取一个样本来求取梯度，并不是每一步都是全局最优解，但整体方向是全局最优的，最后可能会在全局最优解附近，由于只使用了部分样本，速度较快
      \theta_j=\theta_j-\alpha\frac{\delta}{\delta\theta_j}(h_{\theta}(x^{(i)}) - y^{(i)})^2
    • 线性回归运用梯度下降
      j=0, \frac{\delta}{\delta\theta_0}J(\theta_0,\theta_1)=\frac{1}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})
      j=1, \frac{\delta}{\delta\theta_1}J(\theta_0,\theta_1)=\frac{1}{m}\sum^m_{i=1}(( h_\theta(x^{(i)})-y^{(i)})*x^{(i)})
      改写为
      \theta_0:=\theta_0-\alpha\frac{1}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})
      \theta_1:=\theta_1-\alpha\frac{1}{m}\sum^m_{i=1}((h_\theta(x^{(i)})-y^{(i)})*x^{(i)})
  • 深入浅出-梯度下降法及其实现
  • Gradient
  • 机器学习-随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent)

相关文章

网友评论

      本文标题：Week1

      本文链接：https://www.haomeiwen.com/subject/myurzftx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|Week1|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！