哲哲的ML笔记（二：模型）

哲哲的ML笔记（二：模型）

作者: 沿哲 | 来源:发表于2020-08-04 13:15 被阅读0次

1. 参数设定

$m$ ：训练实例数
$x$ ：输入变量/特征
$y$ ：预测的目标变量
$(x,y)$ ：一个训练样本
$(x^i,y^i)$ ：第 i 个训练样本
$h$ ：hypothesis，假设函数

下面这张图中， $h$ 左侧输入为 $x$ ，右侧输出为 $y$

之前提到的房价问题中，是类似线性回归，即要找的函数是一个线性表示

2. 代价函数

问题回顾：在房价预测中，希望找到 $h$ 使得误差最小，即确定参数 $\theta_0、\theta_1$
$\begin{equation} \mathop{\arg\min}_{\theta_0、\theta_1} \frac{1}{m}\ \ \sum_{i}^m\| \mathrm{h} (x^i)-y^i\| \end{equation}$ （我认知中的代价函数一般模样）
课程中的代价函数（平方误差代价函数）
$\begin{equation} J(\theta_0, \theta_1)= \frac{1}{2m} \sum_{i=1}^m(h_\theta(x^i)-y^i)^2 \end{equation}$

3. 代价函数的直观理解（一）

课程中首先简化 $h_\theta$ 表达式为 $h_\theta(x)=\theta_1x$
代价函数为 $J(\theta_1)= \frac{1}{2m} \sum_{i=1}^m(h_\theta(x^i)-y^i)^2$
从几何角度，可以理解为实际值与预测值的距离的平方和再求平均

代价函数的几何理解

假设有三个训练样本(1,1), (2,2), (3,3)，若, 则曲线刚好穿过所有的样本点，为0，即
假设还是有三个训练样本(1,1), (2,2), (3,3)，若，
按照这种假设，可以绘出对应的曲线和

从上图中可以看到当时，代价函数有最小值0

4. 代价函数的直观理解（二）

第三部分之分析了 $\theta_1$ 一个参数时的情景，如果加上 $\theta_0$ ，那么代价函数 $J$ 依然是一个“碗”的形状，只不过多了一个维度：

从等高线的角度分析一下（同一线上的点对应的值相等）
最小的值对应等高线的中心，也就是接近下图的小红圆点处。说明此时左侧的曲线拟合得较好。

相关文章

网友评论

本文标题：哲哲的ML笔记（二：模型）

本文链接：https://www.haomeiwen.com/subject/ykwxmhtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|哲哲的ML笔记（二：模型）|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！