第十章 线性回归---从模型函数到目标函数

模型函数

模型是机器从数据中总结（学习）出来的一个规律，可以用这个规律进行预测和判断。

模型函数是这个规律的具体数学表示。

如：我们要从下图中找出经验(Experience)和工资（Salary）之间的关系，或者说找到一个用于计算工资的模型。

858c7a60-30da-11e8-bd94-39c7911865f2.png

把 Experience 与 Salary 抽取出来，用 x 和 y 来分别指代它们。

da1bc9c0-30dd-11e8-881f-abba1a6c9fa2.png

通过在二维坐标系里通过画图来看一下 x 与 y 的关系：

3c607ef0-30de-11e8-b73c-178173ff19b5.png

从图中可以看出 x与y的关系大致是一条直线。那么就可以假设这个函数为：
y=ax+b 这个函数就是模型函数。现在只要求出函数中的a和b就行了。
由x=0的时候y=103100可求出b=103100再由x=1时候y=104900可求出a=1800
这样模型函数可表示为：y=1800x+103100
用这个函数去计算一下x=2时候y=106700 与图中的106800有一点差别，x为其他值得时候也都有一点差别，这个a和b只是一个近似值。因为只要上图6组数据之中任意两组都可以算出一组不同的a b,用哪一组都不一定是最好的。都是会产生差异的。

目标函数

既然都会产生差异哪我们想办法求出使这个差异达到最小时候的ab不就是最合适的么。
这个时候就需要像个办法表示一下这个差异。用表示单个样本的预测值与实际值的差异。
用个体差异之和除以2m(m为个体数量)表示整体差异。
用公式表示为：

1551966298152.jpg

这个函数被叫做代价函数，也是我们的目标函数。其中ab看做自变量，x和y都是样本数据。那么求整体差异最小不就是求这个函数的最小值么。代价函数值最小的时候的ab就是最合适的模型函数参数。

线性函数在二维坐标系中表现为直线，在三维中表示平面，更高维度想想不到了。总之线性不但是直线的意思。