Caltech评估方法

相关链接

官方网站:http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/
Toolbox: https://github.com/pdollar/toolbox
Matlab evaluation/labeling code (3.2.1): http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/code/code3.2.1.zip
其他算法的结果:http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/datasets/USA/res

0 安装

1. 安装Matlab和Image Processing Toolbox
2. 在https://pdollar.github.io/toolbox/或https://github.com/pdollar/toolbox下载工具箱
3. 解压，并将所有目录添加到Matlab path:

>> addpath(genpath('path/to/toolbox/')); 
>> savepath;

If needed, run the compile script for the mex files:
>> toolboxCompile;

1 下载数据和标注

下载地址：http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/datasets/USA/
说明：set00-set05为训练集，set06到set10为测试集，annotations为标签
数据集为.seq后缀的视频文件，标注为.vbb后缀的文件

2 解析数据集

2.1 将code3.2.1.zip解压，例如此时的路径为：D:\Dataset\caltech\code3.2.1，该文件夹下包含多个.m文件：

   dbBrowser    - 浏览数据库注释和检测结果.
   dbEval       - 评价和画出所有的检测结果.
   dbExtract    - 提取数据集中的图像和标注.
   dbInfo       - 指明数据量和位置信息.
   vbb          - video bounding box (vbb) annotations的数据结构.
   vbbLabeler   - Video bound box (vbb) Labeler.
   vbbPlayer    - Simple GUI to play annotated videos (seq files)

2.2 在D:\Dataset\caltech\code中新建名为data-USA的文件夹，将annotations.tar解压该目录下，再在该目录下新建名为``videos`的文件夹，将set00.tar-set10.tar压缩包放入该文件夹，并解压到每个单独的文件夹

2.3 解析测试集：直接运行dbExtract.m即可解压所有测试集（set06-set10）到images文件夹下，按照每30帧抽取一张，标注在annotations文件夹下的子目录里，以D:\Dataset\caltech\code3.2.1\data-USA\annotations\set06\V000\I00269.txt为例，文件内容如下：

% bbGt version=3
person-fa 180 189 13 31 0 0 0 0 0 0 0
person-fa 206 194 5 30 0 0 0 0 0 0 0
person 71 179 30 70 0 0 0 0 0 0 0

2.4 解析训练集：修改dbInfo.m中第36行的usatest为usatrain：

  if(isempty(name)), name='usatest'; end; end; name1=name;

若需要修改抽帧的间隔，则修改第48行的skip=30的值：

setIds=0:5; subdir='USA'; skip=30; ext='jpg';

修改完后，运行dbExtract.m

3 评估

3.1 在D:\Dataset\caltech\code3.2.1\data-USA下新建res文件夹，将下载好的其他模型的结果放入其中并解压，在该文件夹下以新建自己模型名的文件夹，并将检测结果放入其中，格式参照其他模型的结果即可。

3.2 修改dbEval.m中第54-139行，将不想比较的算法用%注释掉，在最后添加自己的算法名称，与3.1中新建的文件夹名相同，并保证所有未注释的算法结果都在D:\Dataset\caltech\code3.2.1\data-USA\res下。

3.3 运行dbEval.m，顺利的话会在D:\Dataset\caltech\code3.2.1\results中出现pdf和txt格式的结果。默认情况下设‘Resonable’的结果，修改第149行的exps = exps(1)中的数字即可得到其他结果，所对应的目录在30-47行。

极大概率出现报错，需要安装Ghostscript和pdfcrop。