2、基于彩色序列图像和光流图像的视频检测分类
该方法主要是把彩色序列图像和图像光流放入CNN网络中,经过数据融合后输出结果,融合的点不同,融合的方式等存在不同。
如图5所示,每秒只取一帧图像,和图像帧与帧之间运动信息作为输出信息,在pool层和LSTM(Long Short Term Memory)中数据融合,输出分类结果。
图6,用不同的深度卷积神经网络分析了彩色图像序列和光流图像的融合。
图7 在彩色图像和光流图像中采用LSTM模型,在Pooling层中融合。
参考文献:
1、Beyond Short Snippets: Deep Networks for Video Classification
2、Evaluating Two-Stream CNN for Video Classification
3、Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification