监督与非监督的方法发展了很多，方法与方法间没有一定的好坏区分，根据不同的数据采用不同的模型，各自有各自的试用范围。理论上，如果某种方法所采用的模型或者方法背后暗含的假设比较符合真实数据的情况，方法的效果就越好。但在实际应用中，无法事先知道数据分布的“正确”模型，所以需要根据数据对各种方法的应用效果进行评价。
需要对监督和非监督模式识别问题分别讨论方法性能的评价。
10.1 监督模式识别方法的错误率估计
监督模式识别有明确分类的分类目标，就是识别的尽可能都属于真实的类，那么错误率就尽可能少，这里的错误率就是错误抉择在全部决策中所占比例的数据期望。
理论情况分析很难做到，跟多采用实验方法来估计分类器的错误率。
10.1.1 训练错误率
在统计学上也叫： 视在错误率，重带入错误率
最简单的估计方法就是在分类器设计完成后，用分类器来对全部训练样本重新分类，然后统计其中错误分类的样本占总样本数的比例，这个比例就是错误率的估计。
这种错误率偏乐观，因为分类器设计中以及使用到了说有样本的信息，因此这种训练错误率不能忠实的放映分类器在未来样本上的表现，即不能反映分类器的推广能力。在实际应用中，不把训练错误率当作评价分类器的指标，帮助粗略判断分类器效果或数据可分性的一个有效准则。
10.1.2 测试错误率
实际问题中，样本可以划分一部分用来作为独立的测试集（也称作检验集或考试集），或是在目前已有样本中采集了更多样本，那么可以从测试集数据来估计分类器性能。这样测试的错误率估计叫做测试集错误率。
假定测试集中有N 个样本，直观上可以用测试集中被分错的样本在 N中的比例作为测试错误率，但是这种估计有理论依据吗？估计量的性质如何？测试集的样本数目是否影响估计的准确性？
分二类情况讨论下：
1 先验概率P(w1)，P(w2) 未知——随机抽样
也就是错分的样本数与总考试样本数之比给出了错误率的最大似然估计值，它的意义很直观
在先验概率P(w1)，P(w2) 未知——随机抽样下以错误判别占总数比例作为错误率是有根据的，但要考虑样本数和错误率在置信区间的情况
2. 先验概率P(w1)，P(w2) 已知——选择性抽样
10.1.3 交叉验证
10.1.4 自举法与 .632 估计
10.2 有限样本下错误率的区间估计问题
10.2.1 问题的提出
10.2.2 用扰动重采样估计SVM 错误率的置信区间
10.3 特征提取与选择对分类器性能估计的影响
CV1与CV2区别：在特征提取是是否是利用所有样本来提取
10.4 从分类的显著性推断特征与类别的关系
10.5 非监督模式识别系统性能的评价
10.6 讨论
网友评论