2、基于彩色序列图像和光流图像的视频检测分类
该方法主要是把彩色序列图像和图像光流放入CNN网络中，经过数据融合后输出结果，融合的点不同，融合的方式等存在不同。
如图5所示，每秒只取一帧图像，和图像帧与帧之间运动信息作为输出信息，在pool层和LSTM（Long Short Term Memory）中数据融合，输出分类结果。
图5 基于彩色序列图像和光流图像的视频检测分类
图6，用不同的深度卷积神经网络分析了彩色图像序列和光流图像的融合。
图6 基于彩色序列图像和光流图像的视频检测分类
图7 在彩色图像和光流图像中采用LSTM模型，在Pooling层中融合。
图7 基于彩色序列图像和光流图像的视频检测分类
参考文献：
1、Beyond Short Snippets: Deep Networks for Video Classification
2、Evaluating Two-Stream CNN for Video Classification
3、Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification
网友评论