分类准确率是单一数字评价指标（single-number evaluation metric）的示例：在开发集（或测试集）上使用分类器，然后得到样本分类正确的比例。根据这个评价指标，如果分类器A的准确率是97%，分类器B的准确率是90%，那么我们就会认为分类器A比较优秀。
相反，精确率（Precision）和召回率（Recall）不是单一数字评价指标，而是有两项评价指标的。多项数据评价指标使得算法比较更为困难。假设你的算法是这样的：
1.jpg
在本例中，没有一个分类器有明显的优势，因此你没法立即选出一个来。
2.jpg
在研发过程中，团队对于算法构建、模型参数、特征提取等方面会尝试很多的想法。使用单一数字评价指标（如精度），可以使得你根据在此指标上的性能来对所有的模型进行排序，从而快速决定哪一个表现最优。
如果你真的很在意精确率和召回率，我建议你使用一种标准方法将他们组合成一个单一的数字。比如说，我们可以取精确率和召回率的平均值。或者，你可以计算出“F1分数”，这是一种平均值计算的改进方法，而且它比单纯采用平均值更有效。
3.png
一数据评价指标有利于你在大量分类器选择时快速做出决定。它可以提供比较清晰的排行偏好，因此，也会有明确的进程引导。
在最后一个例子中，假设你需要在四个市场中（美国，中国，印度，其他）分别跟踪你的猫猫分类器的准确率，那你就很容易得到一个指标。通过取四个数据的平均值或加权平均值，得到一个单一数字指标，这其实是比较普遍的一种方法。
大家好，我是AI搬运工
致力于将国外的AI好文，翻译成大家都懂的中国话！
本文属于AI搬运工自行翻译，如有错误，欢迎指正！
原文摘自于：Machine Learning Yearning（Technical Strategy for AI Engineers, In the Era of Deep Learning)(Draft Version)
往期回顾
01 谈及监督学习时，我们在谈什么？
02 监督学习之回归分析法：预测连续数值
03 监督学习之分类算法
04 验证集和测试集与机器学习有什么关系
05 开发集和测试集应该来自于同一分布吗?
06 开发集和测试集需要多少个样本数据？
网友评论