Model Representation(模型构建)
以房价预测为例,假设有如下可供训练的数据集(数据总量为m):
住宅面积 (x) | 销售价格(y) |
---|---|
123 | 45w |
145 | 55w |
120 | 42w |
... | ... |
80 | 30w |
将这些点绘制在直角坐标系上则为:
house prediction.jpg
其中x是住宅面积,y是销售的价格,那么假设预测函数为h且函数h是线性的,那么可设函数h=Ax+B,其中A、B为参数。
代价函数
如何用假设的函数h来较好的拟合训练数据集是我们接下来要关心的问题。即如下图所示:
house prediction liner fitting.jpg
这样就可以将问题看成一个最优化问题,即优化参数使得所有标签值到预测值的距离总和越小,由于接下来要进行求导,为求导方便,那么定义代价函数J=1/2mΣ(h-y)^2。
那么总结如下图所示:
cost function.PNG
如何最小化代价函数(梯度下降)
不断调整参数A,B,使得代价函数J最小
梯度下降.PNG
α的取值
- a 若太大,可能跳过局部最优值,甚至无法收敛
- b 若太小,收敛速度太慢
网友评论