关于On Building an Accurate Stereo Matching System on Graphics Hardware的笔记

论文特点

这篇论文最大特点是提出了便于利用GPU进行CUDA编程的立体匹配计算框架。此外,它的技术要点在于:

  • 提出了结合AD(absolute difference)和Census Transform的代价,称Ad-census。
  • 改进了由参考资料[2]提出的cross-based region的代价对比窗口的生成方式,并且改进了代价的聚合方式。
  • 引入了[3]提出的scanline optimization的优化方式,并且减少了计算量。

Ad-census代价

首先来认识Ad-census代价。
代价Ad,一般可以看做是两个对应像素灰度的差的绝对值。
不过论文里面用了两个对应像素的RGB三通道分别求差的绝对值,再对三个绝对值求平均。运算量大一点,不过可以用的信息比灰度丰富些。又因为后期可以并行处理,所以运算量的负担并没有增加多少。

代价Census Transform[4],是在以当前像素为中心,构造出长宽为9x7大小的矩形区域。该区域中的63个像素依次与中心像素p比较像素值,包括中心像素它自己也跟自己比较,若大于像素p,则该位置标记为1,否则标记为0。于是我们得到了长度为63的0/1编码。
与Ad代价相似,我们还要求两个像素对应的Census Transform的距离(差),我们采用汉明距离Hamming Distance[5]。汉明距离比较简单,就是衡量这两组0/1编码的相同位置的不同字符的个数。也就是说,如果两个Census Transform的不同的编码越多,我们就认为这两个Census的距离更远。

代价Ad对像素的强度差别比较敏感,可以用来比较颜色、光照的不同。
代价Census对像素的纹理差别比较敏感。
比如一个黑色的圆圈和在另一幅图中显得有点灰色的圆圈,在ad看来是不一样的。但在Census看来,它们都比圆圈中心的白色要来的暗一些。所以census的0/1编码是一样的。
但是如果一个图中有很多个圆圈,红色绿色蓝色的,那么census就蒙圈了,这时候ad说不定恰恰可以用颜色来寻找对应的圆圈的位置。
代价Ad-census就是将以上两种代价进行结合,census用来弥补ad对光照的判断带来的失误,而ad用来在弥补census对重复纹理区域的判断带来的失误。
论文采用了

公式(2)的方式定义了Ad-census代价,函数rho的范围为[0, 1],将ad和census代价归一化。

基于Cross-based region的代价聚合方式

立体匹配来确定disparity,就是去寻找对于被匹配图像中的像素p来说,如果在匹配图像中的像素q与p之间的代价最小,那么我们就认为q是p的对应点,并且q与p的距离,就是p的disparity。

可是,往往这种简单的一对一的像素的代价匹配精度较低。所以一些工作引入了以像素p为中心的高宽为HxW窗口区域,将该窗口中的像素的对应代价的总和,来作为像素p的代价。这么做比起单一的像素代价,让匹配的结果精度更高一些。普遍被使用的有SSD,SAD,NCC,ZNCC等。

这里提到的Cross-based region也是一种窗口的设置方式,它不是矩形,而是一个可以是任意形状的区域。

Cross-based region的构建方式分为两步,第一步以像素p为中心,往p的左边,右边,上边,下边分别延伸出去若干个像素,就像画了一个十字,也就是cross-based命名的缘由。至于这个十字要“画的”多大,我们以十字的左臂为例子。(待续)


参考资料:
[1]On Building an Accurate Stereo Matching System on Graphics Hardware
[2]K. Zhang, J. Lu, and G. Lafruit. Cross-based local stereo matching using orthogonal integral images. IEEE TCSVT, 19(7):1073–1079, 2009.
[3]H. Hirschm ̈uller. Stereo processing by semiglobal matching and mutual information. IEEE TPAMI, 30(2):328–341, 2008.
[4]http://blog.csdn.net/qianchenglenger/article/details/19931259
[5]https://zh.wikipedia.org/wiki/%E6%B1%89%E6%98%8E%E8%B7%9D%E7%A6%BB

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,053评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,527评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,779评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,685评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,699评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,609评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,989评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,654评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,890评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,634评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,716评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,394评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,976评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,950评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,191评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,849评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,458评论 2 342

推荐阅读更多精彩内容