模型的选择

误差

误差:(Error): 是模型的预测输出值与其真实值之间的差异
训练(Training): 通过已知的样本数据进行学习, 从而得到模型的过程
训练误差(Training Error): 模型作用于训练集的误差
泛化(Generalize): 由具体的, 个别的扩大为一般的, 即从特殊都一般, 称为泛化. 对机器学习的模型来讲, 泛化是指模型作用于新的样本数据(非训练集)
泛化误差(Generalization Error): 模型作用于新样本数据时候的误差
误差

欠拟合和过拟合

模型容量(Model Capacity): 是指其拟合各种模型的能力
过拟合(Overfitting): 是某个模型在训练集上表现的很好, 但是在新样本上表现的很差. 模型将训练集的特征学习的太好, 导致一些非普遍规律被模型接纳和提现, 从而在训练集上表现的好, 在新样本上表现的很差.
- eg. 例题做的很好, 但是做类似的题, 换个数字就不会做了
欠拟合:(Underfitting): 即模型对训练集的一般性质学习表现的很差, 模型作用于训练集的时表现不好, 与过拟合(Overfitting)相反
- eg. 连例题都没做好, 别说别的题了
  
  三种拟合

模型选择

模型选择(Model Selection): 针对某个具体的任务, 通常会有多种模型可供选择, 对同一个模型也会有多组参数, 可以通过分析, 评估模型的泛化误差, 选择泛化误差最小的模型
红线是最佳模型选择

模型的评估方法

评估思路: 通过实验测试, 对模型的泛化误差进行评估, 选出泛化差最小的模型, 待测试数据集全集未知, 使用测试集进行泛化测试, 测试误差(Testing Error)即为泛化误差的近似.
将已知的数据集分为两个部分:训练集(80%), 测试集(20%)
- 训练集和测试集尽可能互斥(测试集和训练集尽量不一样)
- 训练集和测试集独立同分布(eg. 训练集和测试集没有关系, 彼此独立, 预测身高的时候要都来自中国, 不能训练集是中国人的数据, 而测试集是冰岛人)
留出法(Hold-out): 将已知数据集分成两个互斥的部分, 其中一部分用来训练模型, 另一部分用来测试模型, 评估其误差, 作为泛化差的估计
- 两个数据集的划分尽可能保持数据分布一致性, 避免因数据划分过程引入人为的偏差
- 数据分割存在多种形式会导致不同的训练集, 测试机划分, 单次留出法结果往往存在偶然性, 其稳定性较差, 通常会进行若干次随机划分, 重复实现评估取平均值作为评估结果
- 数据集拆分成两部分, 每部分的规模设置会影响评估结果, 测试, 训练的比例一般是2:8, 3:7等
- 数据划分一般使用分层法, 比如一个训练集里分男人和女人, 那么按照男人和女人来划分数据
交叉验证法(Cross Validation): 将数据集划分为k个大小相似的互斥的数据子集, 子集数据尽可能保证数据分布的一致性
留一法(Leave-One-Out. LOO):是k折交叉验证的特殊形式, 将数据集分成两个, 其中一个数据集记录条数为1, 作为测试集使用, 其余记录作为训练集训练模型, 训练出的模型和使用全部数据集训练得到的模型接近, 其评估结果比较准确, 缺点是当数据集比较大的时候, 训练次数和计算规模比较大.
自助法(Bootstrapping):是一种产生样本的抽样方法, 其实质是有放回的随机抽样, 即从已知数据集中随机抽取一条记录, 然后将该记录放入测试集同时放回原数据集, 继续下一次抽样, 直到测试集中的数据条数满足要求. 通过有放回的抽样获得的训练集去训练模型, 不在训练集中的数据(约总数量的1/3)去用于测试, 这样的测试结果被称为包外估计(Out-of-Bag Estimate, OOB)

几种方法的适用场景

留出法
- 优点
  - 实现简单, 方便, 在一定程度上能够评估泛化误差
  - 测试集和训练集分开, 缓解了过拟合
- 缺点
  - 一次划分, 苹果结果偶然性大
  - 数据被拆分以后, 用于训练, 测试的数据更少了
交叉验证法
- 优点
  - K可以根据实际情况设置, 充分利用了所有样本
  - 多次划分, 评估结果相对稳定
- 缺点
  - 计算比较繁琐, 需要进行k次训练和评估
自助法
- 优点
  - 样本量比较小的时候可以通过自助法产生多个自助样本集, 且有约36.8%的测试样本
  - 对于总体的理论分布没有要求
- 缺点
  - 无放回抽样引起额外的偏差

几种方法的选择

已知数据集梳理充足时, 通常采用留出法或者K折交叉验证法
对于已知数据集比较小且难以有效划分训练集/测试集的时候, 采用自助法
对于已知数据集比较小且可以有效划分训练集/测试集的时候, 采用留一法

性能度量

性能度量(Performance Measure):评价模型泛化能力的标准, 对于不同的模型, 有不同的评价标准, 不同的评价标准将导致不同的评价结果, 模型的好坏是相对的, 取决于对于当前任务需求的完成情况.
回归模型的性能度量通常选用均方误差
均方误差计算举例

均方误差计算