Day02 p23-p51

第二章 模型评估与选择

2.1 经验误差与过拟合

错误率 E = a/m
精度 1-E

训练误差/经验误差：学习器在训练集的误差
泛化误差：在新样本的误差

过拟合：训练误差小，泛化误差大。
只要相信P ≠ NP，过拟合便不可避免。

2.2 评估方法

如何从m个样例的数据集中选出训练集和测试集？

2.2.1 留出法

直接将D划分为两个互斥的集合。

划分尽可能保持一致性——分层采样。（保持正反比例）
常见做法是大约2/3~4/5的样本用于训练

2.2.2 交叉验证法

将D划分为k个大小相思的互斥子集。
每次用k-1个的并集作为训练，1个作为测试。
这样可获得k组训练/测试集，进行K次训练与测试，最终返回均值。
称为k折交叉验证

k常用10,5,20。

p次k折：随机使用不同的划分重复p次。

k=m（样本数量）：留一法，只留一个做测试。
缺点：计算开销大。

2.2.3 自助法

每次从D中采样（随机挑选一个）放入D1，再放回D。重复执行m次。

计算得到 某个样本始终不被得到的概率为1/e=0.368。

2.2.4 调参与最终模型

选完模型，最后是要用m个样本重新训练一次才提交给用户的。

2.3 性能度量

回归任务 最常用的性能度量：均方误差
一般描述：积分形式

2.3.1 错误率与精度

一般描述：积分形式

2.3.2 查准率 查全率 与 F1

查准率（precision）：准确率——挑出的瓜有多少是好的
查全率（recall）：召回率——所有好瓜中有多少被挑选出来了

分类结果混淆矩阵
两者往往是矛盾的

P-R曲线：可以用来比较算法优劣
F1度量法 p32

多个混淆矩阵时
macro-F1 vs micro-F1

2.3.3 ROC与AUC

阈值(threshold)：大于阈值为正类，小于阈值为负类。

更重视准确率：阈值高，截断点高
更重视召回率：阈值低，截断点低。

ROC图：
TPR(Y)：好瓜中有多少被选出来
FPR(X)：坏瓜中有多少被选出来

AUC：ROC下的面积。

2.3.4 代价敏感错误率与代价曲线

代价矩阵 cij：把第i类样本判别为第j类的代价。
将ROC图转化为代价曲线

2.4 比较检验

学习器的测试错误率与泛化错误率是否接近？

2.5 偏差与方差

2.6 阅读材料