1.线性回归
下面这个实例是关于线性回归的，而线性回归只是回归模型的一个例子。
假如我们有一些这样的数据，每一个房子的大小以及售价，那么如果有一个新的房子是1250平方英尺，那么他的售价应该是多少呢？这里我们就可以利用线性回归来做一条拟合的线，然后推测出个大概。
我们使用x来代表输入项，y来代表输出项，然后使用x加上标来表示这是第几个x。y上标同理。
我们使用y hat 就是y上面有个帽子的符号来代表预期值，然后线性回归的公式是 f(x) = wx+b
2.代价函数公式
这个公式是线性回归的一个单参数公式。在初中时候是很常用的，其中b代表截距，w代表斜率，b越大，线条与y轴交集的地方就越大。
上图中的公式是代价公式，因为有m个x，那么也就有了m个预测的y和真实的y值，而在上文中我们称预测的y值为y hat。
然后我们使用 yhat - y 来代表误差，也就是计算的预测y值减去实际y值作为误差。
使用每一项的yhat-y的值平方，然后所有相加求平均来作为最终的误差值。 这样才适用于每一套数据。才能衡量每个模型最终的误差值到底是大是小。
上述公式中最终除以了2m，这里我们不需要过于纠结，这里无论几倍的m，最终我们希望的是这个误差足够的小，所以只要能代表误差值即可。而2m也是为了后续的一些科学计算方便所以设为2倍。
2.1简化版的成本函数
简化版本的f(x) 公式中我们把b给去掉，这样应该y值的也就只有w了。
然后我们来看一下f(x)与代价函数J(w)的关系
当w=1的时候f(x)是如图这样斜率的一条直线。这样一组数据计算得到J(w) = 0
当w=0.5时候，J(w) 约等于0.58
当w=0时候，J(w)约等于2.3；而当w为负数的时候，J(x)为5.25
所以从上述的一些例子中可以发现，J(w) 与 fw(x)的关系了。
而J(w)是代价函数，用来衡量平方误差的大小。所以选择能够最小化平方误差的w，让他们尽可能的小，那么我们就可以得到一个很好的模型。
所以如图如果使用上述的数据，我们想要一个很好的模型，那么w为1的时候最合适。
以上就是在线性回归中如何使用代价函数来找到使J(w)最小化w的值。
而在一般情况下我们需要找到合适的w和b去最小化J。
网友评论