准确度(accuracy)的陷阱和解决方法

对于一个癌症预测系统，输入体检信息预测是否患有癌症。
假如预测准确度能达到99%，那么这个模型看似很好，但是其实不一定。

假如癌症的发病率只有0.01%，当系统预测所有人都是健康的时候，那么准确度也可以达到99.99%。这个模型99.9%还不如baseline的情况，也就是说这个模型是失败的。

对于数据极度偏斜（Skewed Data）的情况，只用准确度是不合适的。

除了准确度，还有精准率（precision）、召回率（recall）和F1 score等衡量标准。

假如我们有如下不平衡数据的混淆矩阵（其accuracy=99.8）：

我们可以得到：
precision = 8/(8+12) = 40%
recall = 8/(8+2) = 80%

也可以将两者结合起来，也就是F1 score。其值等于precision与recall的调和平均值。

即：

以上例子可以计算得到F1为：
F1 = 0.53