隐藏层:
一层隐层网络就是一层特征层次,每一个神经元可以类似看作一个特征属性。
先解释一层隐层网络就是一层特征层次这一点,有一点拗口。这在传统的神经网络中还不是很明显,在CNN中尤为明显。要明白这一点,首先得理解感受野。感受野是指CNN卷积核在卷积过程中关注的区域,比如第一层5×5的卷积核关注的区域大小就是5×5,卷积核关注的区域很小,所以浅层的网络关注的是细节特征,比如颜色、角点、直线曲线等等。但是由于CNN有池化采样的操作,feature map会逐渐变小,假如你第一层做了一个2×2的pooling池化,你第二层再做5×5的卷积核的卷积操作时,你关注的区域就是原图中的10×10的大小了,感受野变大了。以此类推,高层的卷积核关注的区域(感受野)就会越来越大,关注了也为更加抽象的局部/全局特征,,比如中层的胳膊、大腿、白色的皮包、车轮等等;高层的比如人、飞机、大象等等。就用下面这张图来近似表示一下吧,不严谨但大概就是这个意思。概括一下就是浅层的隐层网络更加关注局部的细节特征,高层的隐层网络更加关注全局的抽象特征,也就是不同的特征层次。