Multi-Fiber Networks for Video Recognition (MFNet)

标签：work   复杂度   相对   卷积   net   src   ati   时空   两种方法   

Motivation：减少时空网络的计算量，保持视频分类精度上的基础上，使得速度尽可能接近对应网络的2D版本。

为此提出 Multi-Fiber 网络，将复杂网络拆分成轻量网络的集成，利用 fibers 间的信息流引入多路器模块。

Result：比I3D和R(2+1)D分别少9倍，13倍的计算量，但精度更高，UCF-101, HMDB-51 and Kinetics 上的 state of the art。

2D网络需要10s GFLOP来处理单帧，3D网络需要100s GFLOP处理一个clip，作者认为3D网络有能力进一步提高因为融入了时空信息。

与Du tran和xie sai ning提出的R(2+1)D和S3D用1x3x3, 3x1x1时空分解卷积替代3x3x3这种做法不同，以上两种方法很难在实际应用，因为相对他们的2D版本有数量级的复杂度，受low-power MobileNet-v2网络的启发以及通过分组卷积稀疏化做法的启发，作者提出稀疏连接结构，

作者提出multi-fibers结构并在2D CNN图片分类上实验确认结构的有效性，后扩展为时空CNN

(a) resnet block (b) resNeXet block (c) fibers(author) (d) 加入multiplexer 传递不同fiber间信息 (e) 两个线性层降维和升维

Multi-Fiber Networks for Video Recognition (MFNet)

标签：work   复杂度   相对   卷积   net   src   ati   时空   两种方法   

原文地址：https://www.cnblogs.com/demian/p/9795309.html