分类模型的评估

分类模型的评估

* 精确率和召回率         

estimator.score() 一般最常见使用的是准确率，及预测结果正确的百分比

混淆矩阵：在分类任务中，预测结果与正确标记之间存在四个不同组合，构成混淆矩阵

	正例	假例
正例	真正例TP	伪反例FN
假例	伪正例FP	真反例TN

评估标准：精确率，召回率，并不是只有准确率

image

F1-score：反映了模型稳健性
正确率、召回率和 F 值是在鱼龙混杂的环境中，选出目标的重要评价指标。
不妨看看这些指标的定义先：
1. 正确率 = 提取出的正确信息条数 / 提取出的信息条数
2. 召回率 = 提取出的正确信息条数 / 样本中的信息条数 两者取值在0和1之间，数值越接近1，查准率或查全率就越高。
3. F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率) （F 值即为正确率和召回率的调和平均值）

不妨举这样一个例子：某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别如下：正确率 = 700 / (700 + 200 + 100) 70%召回率 = 700 / 1400 = 50% F值 = 70% * 50% * 2 / (70% + 50%) = 58.3%不妨看看如果把池子里的所有的鲤鱼、虾和鳖都一网打尽，这些指标又有何变化：正确率 = 1400 / (1400 + 300 + 300) = 70%召回率 = 1400 / 1400 = 100%F值 = 70% * 100% * 2 / (70% + 100%) = 82.35% 由此可见，正确率是评估捕获的成果中目标成果所占得比例；召回率，顾名思义，就是从关注领域中，召回目标类别的比例；而F值，则是综合这二者指标的评估指标，用于综合反映整体的指标。

宏平均(macro-average)与微平均(micro-average)加权平均( weighted avg )
accuracy = (分类正确的样本个数) / (分类的所有样本个数)