背景不多说，直接上干活！

1、关于短时指标的解析

在机器学习中，对于一个模型的性能评估是必不可少的。准确率(Accuracy)、查准率(Precision)、查全率(Recall)是常见的基本指标。

准确率(Accuracy)一般比较容易理解。如果用在预报业务当中就是预测下雨准确的地方与预测的地方的比。写成公式就是：

acc = predict_right_num / predict_num；

准确率(Accuracy)这个指标虽然常用，但是不能满足所有任务的需求。我们还需要通过另外的形式来预测准确率。所以就要引进查准率(Precision)、查全率(Recall)的概念。

2、理解查准率(Precision)、查全率(Recall)

先来看张图（从网上直接拔下来的），有助于上述两个概念的理解——

图1：查准率&查全率

看完图后，再来看表格。在预报领域，假设我们用y=1表示有雨，y=0表示无雨。则：

表1

TP表示预测有雨，而实际也是下雨样例数； FN表示预测是无雨，而实际是下雨的样例数；TP+FN表示实际是下雨的样例总数；

FP表示预测有雨，而实际是无雨的样例数； TN表示预测为无雨，而实际是无雨的样例数；TP+FP表示预测为有雨的例数。

指标1：查准率P

查准率

查准率(Precision)P的要说明的是——

它表示在所有预测为雨的样例中，实际真的是下雨的比例。FP（多报：预测有雨，但真实无雨）越小，查得越准，P越高。

指标2：查全率R

查全率

查全率(Recall)R的要说明的是——

它表示在所有实际是雨的样例中，我们预测也为雨的比例。

FN（漏报：即预测无雨，但是实际有雨）越小，漏掉的下雨的样例越少，查得越全，R越高。

看完有没有晕？简单来说就是：

“准”：预测的准确度，就是我们预测会下雨的结果中，实际下雨的地方；结果当然要越多越好；

“全”：所有的实际下雨的地方中，被我们预测有雨的地方越多越好，但是如果多报了，也没有办法。

3、F值

我们当然希望查准率(Precision)和查全率(Recall)这两个值越高约好，P越高越好，R也越高越好，但事实上这两者在某些情况下是矛盾的。

要想查准率高，那么你就要选最有把握是下雨的地方出来，但这样又会漏掉一些实际是下雨（即误认为是无雨的），使得查全率较低。

如果想要查全率高，那么就要尽可能多选一些下雨的，如果将所有的地方都下雨了，那必然实际是下雨被选上了，这样查全率确实高了，但是，这样查准率又比较低。

那么，如何来平衡查准率与查全率呢？一般来说，我们采用F值来平衡查准率与查全率。F-Measure是Precision和Recall加权调和平均。当参数为1的时候，就是常见的F1值。

F1的公式如下：

M表示样例总数

4、准确率指标的应用

在短时预报的业务中，我们对查准率和查全率的重视程度不同。如果我们想要跟多的用户推送降水的消息，此时查全率更重要。但是如果希望尽可能的减少我们误报降水的地方，查准率则更为重要。但如果没有什么偏好，纯粹是想准确率更好，综合的F值，其实更为妥当。

不过未来对于短时预报业务的要求的提高，除了客观学术值的标准，用户体验维度的评价也是趋势所在。