A Bi-directional Message Passing Model for Salient Object Detection

相关工作

局部超像素与全局提议的组合来推测显著性图;
将低级空间特征嵌入cnn提取的特征,等。
作者由此提出基于各个层次特征图加权融合的模型并加入了双向信息传递,从高层语义到底层边缘信息,以及反向传递。

模型结构

该模型建立在一个基于vgg16的fcn结构作为预训练模型,利用vgg16产生多尺度特征图,其中删去了所有全连接层以及最后一个池化层,得到5个层次的特征图。然后对每个特征图进行上下文语义特征提取(MCFEM),为了整合信息提出了双向信息传递模型(GBMPM)。最后由高层向底层特征融合得出显著性图。

多尺度上下文感知特征提取

将vgg16输出的5层特征图分别进行上下文感知特征提取,采用了4个不同膨胀率空洞卷积层进行空洞卷积,详细参数如下

因为空洞卷积具有更大感受野,基本等效于增大卷积核尺寸却不增多参数。

门控双向信息传递

即高层语义特征指导底层边缘信息,帮助定位显著性区域,而底层边缘信息则帮组高层特征重建目标细节。之前有人做过特定两层之间的信息双向传递,而本文作者对每层都做了双向传递。考虑到不同层之间分辨率不同,在信息传递时分别做了上、下采样。从低层向高层传递公式

操作包括对上一层传递来的hi-1与本层特征hi分别卷积并使用relu激活后下采样至下一层分辨率尺寸(初始层的上一层h置0)。由高层向底层传递公式则相反
从两个方向传递来的信息融合
操作包括将两个方向传递的特征图先拼接在卷积并进行relu操作。

但是不同尺度下的特征图会有不同,因此在传递信息是需要加权也就是添加门操作(融合时也需要),修正后公式
作者目标是通过增加门函数,使得只有有用的信息才被传递,而不准确的信息则被过滤掉(有效性?)。
显著性推理

有直接把各层显著性图上采样至原图大小相加的,作者融合特征图时加多了一个卷积操作

损失函数
其中l是(x,y)处标签,p则是其属于前景的概率。
实验结果

采用DUTS的训练集做训练,前13个卷积层用vgg16的参数初始化,其他的用truncated正则方法初始化,上、下采样使用双线性内插。

方法有效性实验
总结

思路是多尺度的特征融合,借鉴了一篇目标识别文章中中信息双向传递,使每个尺度特征图具有全局与细节信息,特征提取时采用空洞卷积,特征融合时也用到卷积。但感觉双向传递带来一些冗余信息。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容