参考：https://zhuanlan.zhihu.com/p/60262450
1.精确图 precision plot
追踪算法估计的目标位置（bounding box）的中心点与人工标注（ground-truth）的目标的中心点，这两者的距离小于给定阈值的视频帧的百分比。不同的阈值，得到的百分比不一样，因此可以获得一条曲线。
该评估方法的缺点：无法反映目标物体大小与尺度的变化。
例子：
2.成功率图 Success Plot
首先定义重合率得分（overlap score，OS），追踪算法得到的bounding box（记为a），与ground-truth给的box（记为b），重合率定义为：OS = |a∩b|/|a∪b|，|·|表示区域的像素数目。当某一帧的OS大于设定的阈值时，则该帧被视为成功的（Success），总的成功的帧占所有帧的百分比即为成功率（Success rate）。OS的取值范围为0~1，因此可以绘制出一条曲线。
3.AUC
成功率图的曲线下面积
4.Precision
精度图中阈值为20时的值
5.OPE
用ground-truth中目标的位置初始化第一帧，然后运行跟踪算法得到平均精度和成功率。这种方法被称为one-pass evaluation (OPE)。
6.鲁棒性评估（SRE，TRE）
通过从时间（temporally，从不同帧起始）和空间（spatially，不同的bounding box）上打乱，然后进行评估。可以分为：temporal robustness evaluation (TRE) 和 spatial robustness evaluation (SRE)。
在一个图片/视频序列中，每个跟踪算法从不同的帧作为起始进行追踪（比如分别从第一帧开始进行跟踪，从第十帧开始进行跟踪，从第二十帧开始进行跟踪等），初始化采用的bounding box即为对应帧标注的ground-truth。最后对这些结果取平均值，得到TRE score。
由于有些算法对初始化时给定的bounding box比较敏感，而目前测评用的ground-truth都是人工标注的，因此可能会对某些跟踪算法产生影响。因此为了评估这些跟踪算法是否对初始化敏感，作者通过将ground-truth轻微的平移和尺度的扩大与缩小来产生bounding box。平移的大小为目标物体大小的10%，尺度变化范围为ground-truth的80%到120%，每10%依次增加。最后取这些结果的平均值作为SRE score。
以上，就是OTB评估的几个指标。
网友评论