第二章、模型评估与选择

1、过拟合：把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质。（无法避免。只能缓解或减少风险）
2、欠拟合：对训练样本的一般性质尚未学好。
3、模型选择的理想方案：在候选模型中，选择泛化误差最小的模型。
4、评估方法：通过实验测试来对学习器的泛化误差进行评估并进而做出选择。
5、在现有数据集中划出训练集和测试集的方法

• 留出法：训练 ：测试集=7:3进行划分，训练集占三分二到五分四。（需保持一致性，类别比例一样----分层采样）。一般要采用若干次随机划分、重复进行试验评估后取平均值。
• 交叉验证法：先数据集D划分为k个大小相似的互斥子集，子集保持数据分布一致性，且为分层采样得到。然后，每次用k - 1个子集的并集作为训练集，余下的那个子集作为测试集。（即分别每次取出一个不同的子集作为测试集，剩下的作为训练集，则能得到k次测试结果，再取平均。）。一般k取5、10、20，成为k折交叉验证。
• 自助法(bootstrapping)：它直接以自助采样(bootstrap sampling) 为基础。自助采样：随机从元数据集中有放回地取一个样本，重复m次。最后有0.368的数据未被采到，即为测试集。
  1.自助法在数据集较小、难以有效划分训练/测试集时很有用；初始数据量足够时，留出法和交叉验证法更常用一些.
• 调参与最终模型:

6、性能度量：学习器预测结果和真实标记的对比。

• 回归任务最常用的性能度量是“均方误差”；
• 错误率和精度：分别是分类错误和分类正确样本占总样本的比例。适用于二分类或多分类。
• 查准率、查全率和F1：