优化和满足评估指标(译)

这里有另外一种方式合并多种评估指标

假设你对学习算法的准确率和运行时间都非常关注，你需要在下面三种分类器之间作出选择：

将准确率和运行时间放在单个公式中导出单个评估指标看起来并不自然，例如：Accuracy - 0.5*RunningTime

替代方案是：首先，定义一个可接受的运行时间。比如说运行时间在100ms之内是可以接受的。然后，对于满足运行时间限制的算法，选择准确率最高的那个。这里，运行时间是一个“满足度量”---你的分类器在这个指标上足够好就可以了，在上面的假设中它只要小于100ms就可以了。准确率是“优化度量”

如果你要观测N种不同的评估标准，比如模型二进制文件的大小(在移动应用中很重要，因为用户不愿意下载很大的文件)，运行时间和准确率，你也许要考虑将N-1种评估标准作为“满足度量”，也就是说，你只需要它们满足某一个值就可以了。然后将最后一个评估标准作为优化度量。例如，为二进制文件的大小和运行时间设置一个可接受的阀值，然后对满足这两个限制条件的算法优化准确率。

作为最终的例子，假设你正在构建一个硬件系统，该设备使用麦克风来侦听用户是否说出特定的唤醒词，如果接收到唤醒词，则唤醒设备。这种设备的例子有亚马逊的Echo侦听“Alexa”，苹果的Siri侦听“Hey Siri”，Android侦听“Okay Google”，百度侦听“Hello Baidu”。你需要关心假阳性率(false positive rate)---没有人说出唤醒词而机器唤醒的概率，还要关心假阴性率(false negative rate)----有人说出唤醒词而机器没有唤醒的概率。一种比较合理的评估方案是减少假阴性率(优化度量)，而假阳性只要每二十四个小时的操作出现不超过一次就可以了。

一旦你的团队依照评估指标进行优化，将会取得更快速的进展。