常见概念

作者: arcral | 来源:发表于2017-08-31 10:01 被阅读0次

最小二乘: 适用于具有低方差，高偏差的数据
最近邻: 适用于具有高方差，低偏差的数据
方差: 刻画了预测值的变化范围，离散程度；方差越大，数据越分散(和真实值无关)
偏差: 刻画了预测值的期望与真实值之间的差距；偏差越大，数据越偏离真实数据

模型的复杂度应在偏差与方差之间均衡考虑，使检验误差最小。检验误差的一个显而易见的估计是训练误差 $\left(\frac{1}{N}\right)\sum_i(y_i-\hat{y}_i)^2$ 训练误差并不能很好的解释模型的复杂性。
当提高模型复杂性 (即更严格的拟合数据) 使训练误差趋于减少，模型会过拟合而泛化能力差，此时估计值将具有较大方差
如果模型不够复杂，将拟合不足并可能具有较大偏差，导致泛化能力差。

损失函数与风险函数

统计学习的目标在于从模型的假设空间中选取最优模型

经验风险最小化（empirical risk minimization, ERM）的策略：

$\min_{f\in\digamma}\frac{1}{N}\sum_{i=1}^NL(y_,f(x_i))$

结构风险最小化（structural risk minimization, SRM）的策略（其中J(f)定义为模型的复杂度）：

$\min_{f\in\digamma}\frac{1}{N}\sum_{i=1}^NL(y_,f(x_i)) + \lambda J(f)$
风险最小化例子：极大似然估计
结构最小化例子：贝叶斯估计中的最大后验概率估计(MAP)

根据模型与策略获取目标函数后，问题转化为最优化问题，通过数值方法求解

两种常用方法：正则化与交叉验证

正则化，属于结构风险最小化策略，即在经验风险上增加正则化项(或称惩罚项)。正则化项一般为模型复杂度的单调递增函数，如模型参数向量的范数。

常见正则化项有L2范数 $L(w) = \frac{1}{N}\sum_{i=1}^N(f(x_i;w)-y_i)^2+\frac{\lambda}{2}\|w\|^2$
L1范数 $L(w) = \frac{1}{N}\sum_{i=1}^N(f(x_i;w)-y_i)^2+\lambda\|w\|_1$
交叉验证，切割数据，反复使用
简单交叉验证
随机将数据分为两部分，一部分用于训练，另一部分用于验证
K折交叉验证（K-fold cross validation）
将数据且分为K个大小相同的子集；其中K-1个用于训练，剩下的用于验证；重复K次，然后对这K次进行评估
留一法（leave-one-out cross vaidation）
K折交叉验证的特殊情况，K = 样本数

泛化能力即是对未知数据的预测能力

定义泛化误差（generalization error）为 $R_{exp}(\hat{f}) = E_p[L(Y,\hat{f(X)})] = \int_{x \times y}L(y,\hat{f(x)})P(x,y)dxdy$
泛化误差事实上为模型的期望风险

监督学习方法可分为生成方法（generative approach）和判别方法（discriminative approach），分别对应生成模型与判别模型

生成模型：先由数据学习联合概率分布，然后求出输出变量的条件概率分布

典型的生成模型有朴素贝叶斯、隐马尔科夫。
特点：
1. 可获得联合概率分布
2. 学习收敛速度块
3. 存在隐变量时，仍可以用生成方法学习
判别模型：由数据直接学习决策函数或条件概率分布
特点：
1. 直接学习的决策函数或条件概率分布，学习准确率会较高
2. 可以对数据进行各种程度上的抽象，应用特征抽取、转换等技术手段

评价分类器性能指标一般是分类准确率（accuracy）：对于给定的测试集，正确分类的数量与总样本数之比，等价于损失函数为0-1损失时测试数据集上的准确率

对于二分类问题，评价指标是精确率（precision）与召回率（recall）。二分类的结果只可能为以下4种情况