美文网首页
如何解释F1 score?

如何解释F1 score?

作者: 升不上三段的大鱼 | 来源:发表于2022-08-30 15:57 被阅读0次

F1 score 的计算公式:
F1 score = 2*\frac{Precision \times Recall}{Precision + Recall}

其中 Precisio = \frac{tp}{tp+fp}Recal = \frac{tp}{tp+fn}

F1 score为平衡和不平衡的数据集提供了相对准确的评价,因为它综合考虑了模型的 Precision 和 Recall。

一个直觉上简单粗暴的对于F1 score 的解释:


假设一个二分类任务,实际正样本所占比例为 q,预测样本为正的概率为 p,那么可以得到,tp = n*q*p, \\ tn = n*(1-q)(1-p), \\fp=n*(1-q)*p,\\ fn=n*q*(1-p)

那么根据定义可得,Precision=q, Recall=p, F1=\frac{2qp}{q+p}

p=1, q=0.5, F1 = 0.66 .
p=1, q=0.9, F1 = 0.95 .
p=1, q=0.1, F1 = 0.19 .
也就是说当我们的模型是个只会输出1的笨蛋模型时, F1 score的大小实际上依赖于数据分布。

另一方面,如果任何信息都没有,总是预测1会得到最好的 F1,F1 会更加偏向于正样本。

所以如何判断一个 F1 是好的呢?首先假设预测值都为1,计算得到 baseline F1,然后用你的模型预测的值去计算 F1, 看是否大于 baseline,最高的 F1 是最好的。

参考:
https://stephenallwright.com/good-f1-score/
https://inside.getyourguide.com/blog/2020/9/30/what-makes-a-good-f1-score

相关文章

网友评论

      本文标题:如何解释F1 score?

      本文链接:https://www.haomeiwen.com/subject/dpblnrtx.html