论文地址:https://arxiv.org/abs/1709.01507
代码地址：https://github.com/hujie-frank/SENet
SE:https://blog.csdn.net/u014380165/article/details/78006626
1. Introduction
本论文中，探究一个不同的架构设计和通道之间的关系，引进了一种新的SE block.目标就是改善网络的表示能力通过显示的建模卷积特征的通道之间的相互关系。为了取得这个目标，允许网络可以特征再校准，可以学习使用全局信息选择性的强调有用的特征和抑制没有用的信息.
特征U首先通过squeeze操作，该操作聚集feature map 跨越空间维度HxW产生一个通道描述符，这个描述符嵌入通道特征相应的全局分布，使来自全局感受视野的信息能够被低层使用，接下来是excitation操作，通过基于通道依赖性的自门机制为每一个通道学习特定采样的激活，控制每一个通道的激活。feature map U被重新加权产生SEblock的输出，可以直接输入到子层。我们可以使用SE block取代卷积网络中的特定模块。SE block计算代价很小，而且它不局限与特定的数据集或者任务。
2. Related work
1. 注意力和门机制
注意力可以被看成一种工具将可用处理资源的分配偏向于输入信息最有用的部分，它典型的被应用结合门函数（max or sigmoid）和序列技术。本文提出的SE block是一个轻量级的门机制，专门用于以计算有效的方式建模通道之间的关系，设计加强这个基本模块的表示能力。
3. Squeeze-and-Excitation Blocks
F_tr是一个卷积操作符，V=[v1,v2,...vc]表示的一组卷积核，vc是第c个过滤器的参数，经过卷积后的输出U=[u1,u2,...uc]。
*表示的是卷积，vc是一个2位的空间核，代表的是单通道，作用在X的相关通道上，输出是通过将所有通道加在一起产生，通道的依赖性都被嵌入在vc中。但还是这些依赖性与过滤器捕获的空间相关性混合在一起。本文的目标就是确保这个网络可以增加对有用的信息敏感性为了可以被后续转换利用。
3.1 Squeeze: Global Information Embedding
首先考虑输出特征的每一个通道的信号，每一个学习到的滤波器都操作一个局部感受视野。因此每一个转换单元的输出U不能利用这个区域外的上下文信息，当低层的感受视野很小时，这个问题越来越严重。
为了解决这个问题，本文提出squeeze全局空间信息到一个通道描述符，可以使用全局平均池化，z通过缩减U产生
这个转换输出U可以被解释为一系列的局部描述符，它们的统计信息对整个图片可表达。
3.2. Excitation: Adaptive Recalibration
为了利用squeeze操作产生的信息，接下来进行第二个操作捕获通道之间的依赖性，为了满足这个目标这个函数必须有两个标准:1)它一定是灵活的，可以学习非线性的关系在通道之间；2）学习一个非相互排斥的关系，与单独激活相反，可以同时强调多个通道。本文使用的是sigmoid函数
，其中δ是指ReLU函数，
为了限制模型复杂度和辅助泛化，通过在非线性周围形成两个全连接（FC）层的瓶颈来参数化门机制，即降维层参数为W1，降维比例为r一个ReLU，然后是一个参数为W2的升维层。块的最终输出通过重新调节带有激活的变换输出U得到
激活作为适应输入特定描述符z的权重，SE block介绍了以输入为条件的动态特性，有助于提高特征辨别能力。
4. Model and Computational Complexity
SE block是可行的，但是必须提供一个权衡在模型复杂度和性能之间，本文设置这个reduction ratio r为16，作为例子我们比较了ResNet-50和SE-ResNet-50，其中SE-ResNet-50的精确度明显优于ResNet-50，接近更深的ResNet-101网络（如表2所示）。对于224×224224×224像素的输入图像 ,ResNet-50单次前向传播需要3.86 GFLOP。每个SE块利用压缩阶段的全局平均池化操作和激励阶段中的两个小的全连接层，接下来是廉价的通道缩放操作。总的来说，SE-ResNet-50需要∼∼ 3.87 GFLOP，相对于原始的ResNet-50只相对增加了0.26%0.26%
其中r表示减少比率，S指的是阶段数量（每个阶段是指在共同的空间维度的特征映射上运行的块的集合），Cs表示阶段s的输出通道的维度，Ns表示的是阶段s重复块的数量。
5. Implementation
随机裁剪图片大小为224，使用随机水平翻转，对输入图片进行归一化减去均值，使用同步的SGD优化策略，动量为0.9mini-batch size为1024，初始化学习率为0.6，每30个epoch，学习率下降10%，训练总共100epoch.
6. Experiments
激活的作用：1）不同类别的分布在低层几乎是一样的，这就表明这个特征通道的重要性可能被不同类共享在网络的早的阶段 ；2）在更深的层中，每一个通道的值都变得更具有类别特定性，不同类别展示了对特征辨别性值的不同偏好。即低层特征通常更普遍（即分类中不可知的类别），而高层特征具有更高的特异性。
