1. 相关链接
- Paper 链接：Person Transfer GAN to Bridge Domain Gap for Person Re-Identification
- Dataset 链接： MSMT17
- Code 链接：PTGAN
2. 总览
-
提出了一个新的数据集MSMT17：多摄像头，多人，多 bouding boxes；光线差别大，角度差别大。
总之就是更加贴近实际场景。
MSMT17
-
提出PTGAN，借鉴CycleGAN的思想来降低同个方法在不同数据集表现的差异，以此降低标注新数据集的工作量。
PTGAN展示1
PTGAN展示2
3.Detail
3.1 MSMT17数据集
- 15 个摄像头：12个室外，3个室内
- 采集4天，每天的天气不一样：大概是为了光线差异大一些
- 选取每天早上，中午，下午的各3小时作为粗略的视频标注参考对象：即一天只考虑选9小时， 弃了晚上--->太黑贡献不大？
- 在经过进一步选择后，最终版的视频只选了每个摄像头每天3个小时的视频，总共为 3*4天×15个摄像头= 180个小时
- 所以视频时间从 9个小时 × 15个摄像头 × 4天 = 540个小时 ----->> 3个小时 × 4天 × 15个摄像头 = 180个小时
MSMT17统计
1. bounding_box_train: list_train + list_val
1041 identities, 32620 bounding box
2. bounding_box_query: list_query
3060 identities, 11659 bounding box
3. bouning_box_gallery: list_gallery
3060 identities, 82161 bounding box
4. bounding_box_val:
1041 identities, 2373 bounding box
3.2 Person Transfer GAN(PTGAN)
(注:以下为自己的另类解读思路)
1. 一般而言， 为了不单单从数字多少上说明自己数据集比别的数据集要更好，更有价值，同时也进一步说明自己提出数据集的高效性或者广袤的覆盖性，而不是虽然数字多，但是别人用数字少的图片也能达到这种效果，我们自然的想法就是：
- 用在我们数据集上的方法训练，拿到另一个数据集上测试的办法比你反过来搞要好，说明我们**覆盖性**好，发这么多图片是有必要的 （ 由于数据集差异，正常情况下，一般不可能orz， 所以。 。）
- 虽然我们数据集大，但是每张图片包含的信息多啊，我一张等于你好多张， 训练几张我就能达到跟你一样的效果，说明我们数据集**高效**，这么多的光强变化是必要的 （由于数据集差异，正常情况下，一般也不可能orz， 所以。。 ）
2. 所以，重点是解决**数据集的差异性问题**，假若数据集没有差异，而且经验证新的**数据集**最终**覆盖性和高效性更好**，那么数据集发布成立！
而数据集的差异解决办法，从前人借鉴，进行**数据集之间的风格转换！！**
3.为了解决这个数据集的差异问题，作者以CycleGAN的想法入手，对于一幅图片要变换成另一种数据集的风格，那么约束为：
其中主要控制生成图片的风格，
主要控制生成图片的人物，不要被新的背景干扰，从而失真。而：
为一般的鉴别器和生成器损失函数，
循环一致损失，这个都是cycleGAN的相关损失函数。
创新点在于：
其中， 与
皆为对图片的语义分割，即图片的前景（图片的人）要保持一致， 不要被风格影响了人物形态，衣着等等。
风格迁移的结果
4. 想法已经成立了，就是把数据集之间进行风格迁移，然后最终再从覆盖性和高效性来说明自己发布的**数据集优势**。
但是为了达到这个目的，首先得先说明，这种风格迁移是能解决数据集差异的，别的数据集迁移过来后，在本数据集上测试效果要好。
3.3 Experiments
- 所以实验的思路就是：
- 说明 PTGAN 的风格迁移能解决数据集差异
- 解决了差异后，用同个方法在自己发布的数据集上训练，之后去测试自己的覆盖性和高效性
- PTGAN 解决数据集差异
其中红色和绿色代表 Rank-1的结果，蓝色和黑色代表Rank-10的结果。
重点关注下图的绿色和黑色。
在别人数据集进行迁移的实验对比
- 结论：
迁移后的数据集确实表现比原数据集好，说明迁移能降低数据集之间的差异性！！
- 正式进行自己数据集与他人数据集的对比
- Duke数据集：训练集有16,522张图 （1w多张）
- Market数据集：训练集有12,936张图
- CUHK03数据集： 训练集26,264张图
- MSMT17数据集：训练集有32,621张图（10%为3262张图， 3k多张）
效果对比
- 从 Table 4 知道，Duke数据集迁移到MSMT17后，测试效果最好。
- 但是从Table 5 的 MSMT(10%)可以发现，用10%的MSMT17数据集训练后，竟然与Duke数据集全部迁移过来再训练的效果类似。
- 作者因此从这个角度说明，MSMT17的数据集1张图片相当于Duke数据集的5张迁移的图片。MSMT17数据集更加高效。
4.Summary
- 提出的这个数据集非常具有挑战性，从Table 4可以知道
- PTGAN的办法虽然作者主要阐述是该方法能降低之后新数据集的人工标注工作量，但实际也是为自己数据集的发布进行进一步的对比实验而服务。这个办法应该是发布新数据集的工作者要考虑的：发数据集，就要有数据集的对比。
- 最后说明自己数据集比较高效的对比实验好像有点勉强，更好对比的办法应该是MSMT17迁移到别人的数据集上，再与别人的数据集的测试结果进行对比。如果实际真的好，那才能说明自己数据集的覆盖性与高效性
- 无论如何，这篇论文的主要工作是MSMT17数据集的发布，值得后来人进行follow。
5. 疑惑
-
发布的数据集的命名没有仔细的解释，自己暂时猜测命名如下：
id _ 第几张图 _ 摄像头id _ 日期（早上中午或者下午）_ 视频中的第几帧 _ number _ 偶尔出现的ex.jpg
其中number 和偶尔出现的ex暂时还不知道意思 -
论文最后与Duke数据集对比，说明自己数据集高效性那里，是不是写错了自己10%训练集的图片数量？2602？如果错的话，那么后面的1:6.3是不是也错了呢?
-
如果图片命名的方式没错的话，那就是1月到3月的数据集，可论文说是一个月内的某个四天？
网友评论