模型评价指标

评价指标

1. 常用的术语
   1. True positives(TP): 被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数（样本数）；
   2. False positives(FP): 被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；
   3. False negatives(FN):被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；
   4. True negatives(TN): 被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数。

预测类别| | | | |
---|---|---|---|
实际类别| | T | N | 总计
| T | TP|FN|P（实际为Yes）
| N | FP|TN|N（实际为No）
总计| | P’（被分为Yes）|N’（被分为No）|P+N

2. 评价指标

   1. 正确率（accuracy）

   正确率是我们最常见的评价指标
   accuracy = （TP+TN）/(P+N)
   这个很容易理解，就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好；
   

   2. 错误率（error rate)

   错误率则与正确率相反，描述被分类器错分的比例，也叫误差，
   error rate = (FP+FN)/(P+N)，
   对某一个实例来说，分对与分错是互斥事件，所以
   accuracy =1 -  error rate；
   

   3. 灵敏度（sensitive）

   sensitive = TP/P
   表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力，也叫命中率；
   

   4. 特效度（specificity)

   specificity =TN/N，
   表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力，也叫假报警率；
   

   5. 精度（precision）

   精度是精确性的度量，表示被分为正例的示例中实际为正例的比例，
   precision=TP/（TP+FP）；
   

   6. 召回率（recall）

   召回率是覆盖面的度量，度量有多个正例被分为正例
   recall=TP/(TP+FN)=TP/P=sensitive
   可以看到召回率与灵敏度是一样的。
   

   7. 其他评价指标
   • 计算速度：分类器训练和预测需要的时间；
   • 鲁棒性：处理缺失值和异常值的能力；
   • 可扩展性：处理大数据集的能力；
   • 可解释性：分类器的预测标准的可理解性，像决策树产生的规则就是很容易理解的，而神经网络的一堆参数就不好理解，我们只好把它看成一个黑盒子。