损失函数：
估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。
image.png
现实中的例子：
image.png
上面三个图的函数依次为fx1，fx2，fx3，我们是想用这三个函数分别来拟合Price，Price的真实值记为。为了表示我们拟合的好坏，我们就用一个函数来度量拟合的程度，例如：
image.png
风险函数： loss function越小越好么？
不是。
还有一个东西叫做风险函数(risk function)，风险函数是损失函数的期望。关于训练集的平均损失称作经验风险(empirical risk)，所以我们的目标就是最小化它的值。
image.png
目标函数:
经验风险函数值最小化的同时，我们还要让结构风险最小化，因为上面那个例子中的函数太复杂了，都有四次方了。
这个函数专门用来度量模型的复杂度，在机器学习中也叫正则化。最终的优化函数是：
image.png
最左面的 f(x1) 结构风险最小（模型结构最简单），但是经验风险最大（对历史数据拟合的最差）。最右面的 f(x2) 经验风险最小（对历史数据拟合的最好），但是结构风险最大（模型结构最复杂），而 f(x3) 达到了二者的良好平衡，最适合用来预测未知数据集。
网友评论