机器学习（二）线性回归

作者: 形式主义_5adc | 来源:发表于2019-01-10 09:19 被阅读0次

假设函数h：

引导从训练集x得到y的函数

代价函数：

平方差代价函数是解决线性回归问题最通用的函数。

有m个维度的代价函数用 $J( \theta_{0}...\theta_{m})$ 表示

梯度下降：

不同的局部最优解

对于第j个系数，重复如下公式直到到达局部最最优解。

$\theta_{j} = \theta_{j} - \alpha \frac{\partial }{\partial \theta_{j}} J( \theta_{0}...\theta_{m})$

其中， $\alpha$ 为学习速率系数，来控制梯度下降的速率。

所有的系数要同时更新（不可以先对 $\theta _{1}$ 赋新的值再通过此式计算 $\theta _{2}$ ，因为新的 $\theta _{1}$ 值会改变 $J( \theta_{0}...\theta_{m})$ ）

线性回归的代价函数总是一个凸函数

Batch梯度下降：

每一步梯度下降都用到了整个训练集

网友评论

本文标题：机器学习（二）线性回归

本文链接：https://www.haomeiwen.com/subject/gzugrqtx.html

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！