- ShuffleNet基于MobileNet的group思想,将卷积操作限制到特定的输入通道
- 而与之不同的是,ShuffleNet将输入的group进行打散,从而保证每个卷积核的感受野能够分散到不同group的输入中,增加了模型的学习能力
42.1 设计思想
- 采用group conv减少大量参数
- roup conv与DW conv存在相同的“信息流通不畅”问题
- 采用channel shuffle解决上述问题
- MobileNet中采用PW conv解决上述问题,SheffleNet中采用channel shuffle
- 采用concat替换add操作
- avg pooling和DW conv(s=2)会减小feature map的分辨率,采用concat增加通道数从而弥补分辨率减小而带来信息的损失
42.2 网络架构
-
MobileNet中1*1卷积的操作占据了约95%的计算量,所以将1*1也更改为group卷积,使得相比MobileNet的计算量大大减少。
- group卷积与DW存在同样使“通道信息交流不畅”的问题,MobileNet中采用PW conv解决上述问题,SheffleNet中采用channel shuffle。
-
ShuffleNet的shuffle操作如图所示
- avg pooling和DW conv(s=2)会减小feature map的分辨率,采用concat增加通道数从而弥补分辨率减小而带来信息的损失
-
实验表明:多多使用通道(提升通道的使用率),有助于提高小模型的准确率。
-
- 网络结构:
大数据视频推荐:
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐:
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通