F1 score 的计算公式:
其中 ,
F1 score为平衡和不平衡的数据集提供了相对准确的评价,因为它综合考虑了模型的 Precision 和 Recall。
一个直觉上简单粗暴的对于F1 score 的解释:
假设一个二分类任务,实际正样本所占比例为 ,预测样本为正的概率为 ,那么可以得到,
那么根据定义可得,
当 .
当 .
当 .
也就是说当我们的模型是个只会输出1的笨蛋模型时, F1 score的大小实际上依赖于数据分布。
另一方面,如果任何信息都没有,总是预测1会得到最好的 F1,F1 会更加偏向于正样本。
所以如何判断一个 F1 是好的呢?首先假设预测值都为1,计算得到 baseline F1,然后用你的模型预测的值去计算 F1, 看是否大于 baseline,最高的 F1 是最好的。
参考:
https://stephenallwright.com/good-f1-score/
https://inside.getyourguide.com/blog/2020/9/30/what-makes-a-good-f1-score
网友评论