美文网首页ML&DL
机器学习基石笔记：09 Linear Regression

机器学习基石笔记：09 Linear Regression

作者: cherryleechen | 来源:发表于2019-05-01 10:25 被阅读6次
图1 线性回归的假设
图2 线性回归的代价函数

最小化线性回归的样本内代价函数值：

图3 LR代价函数的矩阵形式
图4 基于梯度下降来最小化LR代价函数
图5 梯度计算
图6 矩阵秩的性质
图7 LR权重的解析解
图8 线性回归的算法流程
图9 LR是隐式迭代的

线性回归算法泛化可能的保证：

图10 LR泛化可能的保证1
图11 LR泛化可能的保证2

根据矩阵的迹的性质：trace(A+B)=trace(A)+trace(B)，得：
\begin{equation}\begin{aligned} trace(I-H)&=trace(I_{N*N})-trace(H)\\&=N-trace(XX^+)\\&=N-trace(X^T X(X^T X)^{-1})\\&=N-trace(I_{(d+1)*(d+1)})\\&=N-(d+1) \end{aligned}\end{equation}。
I-H这种转换的物理意义：
原来有一个有N个自由度的向量y，投影到一个有d+1维的空间X（代表一列的自由度，即单一输入样本的参数），而剩余的自由度最大只有N-(d+1)。

图12 LR泛化可能的保证3
图13 LR泛化可能的保证4

线性分类是近似求解，线性回归是解析求解；
线性分类中使用0/1误差，线性回归中使用均方误差；
误差方面，线性分类能小于线性回归，但线性回归速度更快；
可以用线性回归的参数结果初始化线性分类的参数值，
减少迭代过程，加速求解。

图14 线性分类 vs 线性回归1
图15 线性分类 vs 线性回归2
图16 线性分类 vs 线性回归3

相关文章

网友评论

    本文标题：机器学习基石笔记：09 Linear Regression

    本文链接：https://www.haomeiwen.com/subject/yzsinqtx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    ML&DL

    关于我们|服务条款|联系我们|机器学习基石笔记：09 Linear Regression|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！