2021 卷积神经网络—揭开卷积背后的面纱

cnn_cover.png

在开始介绍卷积神经网络之前,觉得有必要先说一说计算机是如何读解图像语义的。在计算机中是采用什么样数据结构来保存图像。只有理解这些内容我们还此基础上开始研究让给你计算机像人类一样读取图片语义来做一些计算机任务。

我在西瓜视频发布相关视频,账号 zidea 头像和简书一致,希望大家多多关注。

computer_vision.jpg

其实用矩阵来保存一张图像,通过将 3 维矩阵来表示一张图像,可以理解将图像切分一个一个小方块 (pixel) 每个小方块都有一个位置信息坐标,pixel 颜色通过 RBG 来表示,可能还具有透明通道,或者带有表示深度的通道,就用这些信息来表示一张图像输入给计算机。这样这种表示存储图像方式比较低级,会丢失许多语义信息。

conv_008.jpg

我们可以将图像理解为一个函数 f(x,y) 其中 xy 表示像素位置,输出一个像素 RGB 值。

conv_016.png
conv_017.png

那么计算机在面对这些只有位置和颜色的信息数据,想要得到更多信息就需要靠自己,因为信息不足,这样对于计算机来理解或者读懂一张图片的语义无形带来困难。

conv_009.jpeg

以及有关图像的一些问题,我们需要读懂一张图像就像知道图像变化,计算机通过感知这些变化(边缘变化),有了边缘信息可以将图像进行分隔具有一定含义区域。


conv_007.png

为了把握图片 intensity 变化看层空间上变换,空间变化程度可以看成图片的一些特征,在边和角是图片。

conv_006.png

我们可以将图像处理为灰度图,在灰度图中明暗可以 intensity 来描述图片。这里 intensity 可以简单理解为我们某一像素(点)对光感知程度。怎么把这件事说清楚呢。我们看到物体是物体反射的光,发生不同颜色光以及光强度来反映一个物体。在计算机上我们将图像数字化过程,就是给图像每一个位置一个像素值,这个值可以分解为多个通道,值大小表示感光的程度。这就是我们在计算机视觉中要研究的对象。

通过 3D 视图形象地将我们如何通过灰度图 intensity 来表示图。接下来说一说卷积,

卷积

学习卷积神经也有一段时间,虽然已经了解到了如何将卷积应用到图像进行运算来得到特征图,以及卷积如何应用图片上进行滤波、降噪、锐化以及边缘检测。但是如何要深究卷积,还是有点摸不到头脑。所以收集一些资料。

我们先把公式抛出来,大家先看一看,觉得有点陌生也不要紧,接下来我们就来详细解释这个公式由来以及其应用

(f * g)(n) = \int_{-\infty}^{+ \infty} f(\tau)g(n - \tau) d \tau

(f*g)(n) = \sum_{-\infty}^{ \infty} f(\tau)g(n - \tau) d \tau

  • f(x),g(x) 是在 \mathbb{R} 上可以积分的函数
  • 大家可能已经注意到了 \tau + (n - \tau) = n
  • 所谓积分就是曲线进行切分很小的间隔然后进行求和,其实所谓的积分就是求和

P_1(x) = \frac{1}{6}

z= (x+y) = 3

  • 假设两次抽取扑克牌概率是独立
    P(z=3) = P_1(1)P_1(2)+ \cdots + P_1(2)P_1(1)
001.jpg

接下来用图解方式给大家详细介绍卷积,以及卷积的过程,假设我们有两个骰子,每次一起投掷骰子。通过连线来表示两两组合。

002.png

如果我们找出两个骰子数加起来为 6 的组合,通过连线方式表达出来

003.png

同上,如果我们想要找出两个骰子数加起来为 8 的组合,通过连线方式表达出来。不过这样连线看起来不是很舒服,所以我们可以通过翻卷得到就得到下面的形式,这就是卷积的由来。

005.png

这张图


006.png
007.png

我们把一个骰子做行,另一个骰子作为列组成一个矩阵,如果再次选择让两个骰子数值相加得到某一个数值时,组合情况用颜色表示出来如以下几张图,就有点像将一张 paper 从右上角开始卷起。

008.png
009.png
010.png

卷积的特性

  • 滤波Filtering
  • 卷积Convolution
  • 矩阵Matrix
  • 颜色值Color values
  • 卷积核 kernel:

空间频率

卷积滤波用于修改图像的空间频率特性。

卷积的定义

  • 一般卷积可以用于图片的滤镜效果,是对图像
  • 卷积是运算,用整数组成的矩阵扫过图像
  • 卷积在图片上作用可以看作,通过将所有相邻像素的加权值相加来确定中心像素的值
  • 输出经过过滤的图像
  • 卷积核就是放置权重的模版

卷积是如何处理图片

convolution.jpeg

通过将一个像素及其相邻像素的颜色值乘以一个矩阵,也就是对应位置数值相乘。

<img src="./images/conv_001.png">

V = \frac{\sum_i^q \left( \sum_j^q f_{ij} d_{ij} \right)}{F}

  • f_{ij} 卷积的像素
  • d_{ij} 像素的值
  • F 系数
  • V 表示输出像素

卷积核进行旋转 180 度后,再去做卷积操作,如果不进行旋转卷积核的操作叫做相关,其实通常卷积核都是对称的。可以将我们神经网络学习到卷积核

<img src="./images/conv_003.png">

卷积的性质

  • 叠加性: filter(f_1 + f_2) = filter(f_1) + filter(f_2)
  • 平移不变性: filter(shift(f)) = shift(filter(f))
  • 交换律
  • 结合律
  • 分配律
  • 标量

边界填充

一般经过卷积操作的图像会变小,所以为了保持输入和输出图像一样大小,需要在做卷积前对边界进行填充。

  • 拉伸填充
  • 镜像填充
  • 0 填充

平滑和锐化

conv_005.png

<img src="./images/conv_005.png">

纹理特征(Texture Features)
形态特征(Morphological Features)

图像平滑

图像平滑

根据某一个像素其周围值来重新计算得到改点的新的值从而实现平滑。
\frac{10 + 5 + 3 + 4 + 5 + 1 + 1+ 1+ 7}{9} = 7

互相关

G[i,j] = \sum_{u = -k}^k \sum_{v = -k}^k H[u,v] F[i + u, j+ v]

卷积

G[i,j] = \sum_{u = -k}^k \sum_{v = -k}^k H[u,v] F[i - u, j - v]

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335

推荐阅读更多精彩内容