- 论文地址：FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
- 收录：ICCV 2017 (IEEE International Conference on Computer Vision)
- 论文代码： github-Caffe
概述
相比传统方法，FlowNet1.0中的光流效果还存在很大差距，并且FlowNet1.0不能很好的处理包含物体小移动（small displacements）的数据或者真实场景数据（real-world data），FlowNet2.0极大的改善了1.0的缺点。
- 优势：
-
速度上，FlowNet2.0只比1.0低一点点；但错误率在原来基础上降低了50%不止 - 最快模型甚至达到
140fps的速度，仍保持和FlowNet1.0类似的准确率
- 上述优势的主要原因有：
- 改变
训练策略 - 通过
网络叠加优化光流效果，并warp输入图片 - 引入分支网络专门处理
物体的小移动情况
以下为1.0和2.0在物体小移动情况下的效果对比：
训练策略
作者对不同数据集、不同网络结构下，使用不同训练策略的结果进行了对比：
- 在
Sintel train clean数据集上测试。 - 涉及两个数据集：
Chairs和Things3D，Chairs为作者FlowNet1.0中生成的数据集，Things3D为另外一个作者在2016年方法中使用的数据集，可以当作3D版的Chairs。mixed为等比例混合两种数据集之后的集合。Chairs→ Things3D代表先在Chairs上训练，然后在Things3D上训练。 - 涉及两种网络结构：
FlowNetS和FlowNetC，在FlowNet1.0说明过。 - 涉及三种训练策略：
Sshort为1.0中的训练策略，训练6000个iteration；Slong则训练1.2M个iteration；Sfine则fine-tune使用更小的学习率。
表中最好的结果证明：先在Chairs上训练，然后在Things3D上进行fine-tune，效果最好。
堆叠网络
作者堆叠了三个网络，第一个为FlowNetC，第二个和第三个为FlowNetS，因为在第二和第三个中还包含：FLow、根据Flow把Image 2 warp到Image 1、warp的Image 1与原先Image 1之间的亮度差值，如果也用FlowNetC网络，则无法处理这么多输入情况。
- 训练时，采用
one-by-one和Chairs→ Things3D策略，即先训练好前一个网络，再训练后一个，训练各网络时，先在Chairs上训练，然后在Things3D上fine-tune。 -
作者对网络FlowNetS中的通道数进行调整，得到不同的实验结果：
证明：通道数减为原来的3/8时，准确率和速度之间效益最好。作者用FlowNet2-CSS代表叠加原来的网络，用FlowNet2-css代表叠加通道数删减过的网络。
- 除此，作者还探索了叠加不同网络个数的影响：
综合时间性能和准确率考虑上，FlowNet2-css效果最好，FlowNet2-s速度最快，达到140fps。
小位移的分支网络
针对物体很小位移情况，作者在Chairs基础上生成了一个小位移的数据集ChairsSDHom，把FlowNet2-CSS网络结构在ChairsSDHom和Things3D上进行fine-tune，实验结果用FlowNet2-CSS-ft-sd表示，实验表明错误率有降低，但是这样也对噪声敏感，作者猜测FlowNet并不太适合对物体小位移情况。作者对FlowNet-S进行调整：去掉第一层的stride=2；并把7x7和5x5卷积核改成多个堆叠的3x3卷积核；在反卷积时，添加额外的卷积层。修改后的网络结构用FlowNet-SD表示。
实验
-
速度和错误率在不同数据集上，与其它方法的比较：
- 在Sintel上，FlowNet2要比DeepFlow和EpicFlow错误率低，与Flow-Fields有可比性，但是它们的速度都比FlowNet2.0低很多。在Sintel上fine-tune后的结果FlowNet2-ft-sintel错误率最低。
- 在KITTI上，FlowNet2-CSS与EpicFlow和Flow-Fields有可比性。同样KITTI上fine-tune后的结果，FlowNet2-ft-kitti错误率最低。
- 在Middlebury上，FlowNet2与传统方法也具有可比性，即使还差一些，但是相比FlowNetS也是有很大的提升。
-
在Sintel上，不同方法的可视化结果：
- FlowNet2与FlowFields效果上具有可比性，而与其速度上有可比性的方法FlowNetS和PCA-Flow，其效果非常差。
网友评论