卷积神经网络基础
二维互相关运算
二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。
卷积运算和互相关运算
答案一
那为什么卷积层不用卷积运算？
由于卷积层的核数组是可学习的，所以使用互相关运算与使用卷积运算并无本质区别。
卷积层与全连接层的对比
二维卷积层经常用于处理图像，与此前的全连接层相比，它主要有两个优势：
一是全连接层把图像展平成一个向量，在输入图像上相邻的元素可能因为展平操作不再相邻，网络难以捕捉局部信息。而卷积层的设计，天然地具有提取局部信息的能力。
二是卷积层的参数量更少。不考虑偏置的情况下，一个形状为(ci,co,h,w)的卷积核的参数量是cicohw，与输入图像的宽高无关。假如一个卷积层的输入和输出形状分别是(c1,h1,w1)和(c2,h2,w2)，如果要用全连接层进行连接，参数数量就是c1c2h1h2w1w2。使用卷积层可以以较少的参数数量来处理更大的图像。
池化层
池化层主要用于缓解卷积层对位置的过度敏感性。
回答二
个人觉得主要是两个作用：
- invariance(不变性)，这种不变性包括translation(平移)，rotation(旋转)，scale(尺度)
- 保留主要的特征同时减少参数(降维，效果类似PCA)和计算量，防止过拟合，提高模型泛化能力
LeNet
lenet模型
卷积神经网络就是含卷积层的网络。 LeNet交替使用卷积层和最大池化层后接全连接层来进行图像分类。
卷积神经网络进阶
AlexNet
首次证明了学习到的特征可以超越手工设计的特征，从而一举打破计算机视觉研究的前状。
- 8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。
- 将sigmoid激活函数改成了更加简单的ReLU激活函数。
- 用Dropout来控制全连接层的模型复杂度。
- 引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。
VGG 使用重复元素的网络
牛津大学的Visual Geometry Group组提出
VGG：通过重复使⽤简单的基础块来构建深度模型。
Block:数个相同的填充为1、窗口形状为3x3的卷积层,接上一个步幅为2、窗口形状为2x2的最大池化层。
卷积层保持输入的高和宽不变，而池化层则对其减半。
NiN(network in network)
NiN：串联多个由卷积层和“全连接”（1x1卷积层串联）层构成的小网络来构建⼀个深层网络。
⽤了输出通道数等于标签类别数的NiN块，然后使⽤全局平均池化层对每个通道中所有元素求平均并直接⽤于分类。
1×1卷积核作用
1.放缩通道数：通过控制卷积核的数量达到通道数的放缩。
2.增加非线性。1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性。
3.计算参数少
GoogLeNet
- 由Inception基础块组成。
- Inception块相当于一个有4条线路的子网络。它通过不同窗口形状的卷积层和最大池化层来并⾏抽取信息，并使用1×1卷积层减少通道数从而降低模型复杂度。
- 可以自定义的超参数是每个层的输出通道数，我们以此来控制模型复杂度。
完整模型结构
feature map 计算
宽/高 = [(宽/高-卷积核size)/步长]+1
