经验风险，结构风险，损失函数

损失函数：度量模型一次预测的好坏。

注：函数具体形式依据规则而定，只要可以描述出预测值与真实值之间的偏差即可。

风险函数：度量平均意义下模型预测的好坏。

注：函数具体形式依据规则而定，只要可以描述出给定度量方式下模型预测能力的相对强弱即可。

期望损失：

      对于统计机器学习中常见的联合概率分布P(X,Y)学习任务，模型f(X)关于联合分布P(X,Y)的平均损失可以用损失函数的期望表示：

这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称为风险函数或期望损失。学习的目标就是选择期望风险最小的模型。

经验风险：

      给定一个训练数据集，模型关于此训练集的平均损失称为经验风险或经验损失：

这是现实中用于衡量模型性能的指标。

      根据大数定律，当样本容量N趋于无穷时，经验风险趋于期望风险。所以在我们现实训练模型时，我们是抱有这个信念的：训练集数据完全展示了真实场景的数据分布，最小化训练集数据的经验风险时，也等同于/接近于最小化期望风险，同时也获得了最优模型。

      另一个概念是结构风险最小化，它是为了防止过拟合提出的策略，其实就是常说的正则化。结构风险在经验风险上加上表示模型（结构）复杂度的正则化项或惩罚项。

      至此，监督学习问题就成为了经验风险或结构风险函数的最优化问题。此时经验或结构风险函数就是最优化的目标函数。

参考资料：《统计学习方法》第二版，李航。