美文网首页
ml-高级优化

ml-高级优化

作者: 天凉玩个锤子 | 来源:发表于2019-11-28 23:39 被阅读0次

目标: 利用高级优化方法和优化概念,使梯度下降进行逻辑回归的速度大大提高,使得算法更加适合解决特征量数目庞大的大型机器学习问题。

  • 共轭梯度法
  • BFGS(变尺度法)
  • L-BFGS(限制变尺度法)

特点:

  1. 不需要手动选择学习率\alpha,通过线性搜索(line search)算法自动尝试不同的学习速率\alpha,自动选择好的学习速率。
  2. 比梯度下降法复杂得多。
  3. 但是有现成的库函数调用

Python fminunc的替代方法
https://blog.csdn.net/csdn_inside/article/details/81558079

相关文章

网友评论

      本文标题:ml-高级优化

      本文链接:https://www.haomeiwen.com/subject/eqvmwctx.html