直接法估计相机位姿(inverse compositional)

直接法是用于视觉里程计估计相机位姿的一种重要方法。相比于其他依赖几何特征做相机位姿估计的方法,直接法具有无需计算特征点、不会丢失图像信息的特点,并且在缺乏几何特征的场景,比如白墙或者走廊等依然可以有效的工作。


下面我们就对直接法做详细的说明:
直接法最直观简单的应用在于RGB-D相机,这种相机可以得到同一时刻RGB图像和深度图像,根据深度图像可以得到每一个像素点在三维空间中的坐标,所有的这些三维点就形成的被拍摄场景中物体的surface,同时也知道每一个surface点对应的颜色信息。相机在运动过程中会产生一系列连续的RGB-D数据,给定了前后两帧RGB-D数据,也就是连续两帧的surface和RGB信息,我们就可以找到一个变形(warp),使得后一帧的输入图像与前一帧的模板图像相配准(alignment)。这个warp代表了我们要寻找的相机位姿的变换。

1、必备知识点
1-1 图像配准

关于图像配准的方法,请参考博文对三种图像配准方法的说明,其中详细说明了三种图像配准方法的思想和算法流程,由于inverse compositional方法效率最高,不需要迭代地计算Hessian矩阵,这里,我们在介绍相机位姿估计时仍然选择应用最广泛的inverse compositional method来介绍。如果要更加详细的了解有关图像配准方面的知识,可以阅读参考文献[1]。

1-2相机模型、刚体运动模型和李代数

这部分内容可以参考博文相机模型、刚体运动模型与李代数。这篇博文对上述几个方面进行了简要的介绍。如果要对这部分内容做更深入的了解,可以阅读参考文献[2]。

2、inverse compositional estimation of camera pose

我们依旧参考图像配准中inverse compositional 方法,算法迭代更新方式如图1所示。


图1.算法迭代更新公式

泰勒展开线性化如图2所示:


图2.线性化求解过程

算法流程图如图3所示:
图3.inverse compositional算法流程

下面我对上述公式中出现的符号做相应的解释:
▽T指的是模板图像T在x方向和y方向上的梯度图,如图4所示:


图4.模板梯度

变换矩阵W对未知参数的导数即J草编矩阵可以用链式求导法则来计算,即如图5所示。
图5.Jacobian矩阵

[1]Baker S, Matthews I. Lucas-kanade 20 years on: A unifying framework[J]. International journal of computer vision, 2004, 56(3): 221-255.
[2]Ma Y, Soatto S, Kosecka J, et al. An invitation to 3-d vision: from images to geometric models[M]. Springer Science & Business Media, 2012.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,723评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,080评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,604评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,440评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,431评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,499评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,893评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,541评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,751评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,547评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,619评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,320评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,890评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,896评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,137评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,796评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,335评论 2 342

推荐阅读更多精彩内容

  • 一.Android中开发相机应用的两种方式 Android系统提供了两种使用手机相机资源实现拍摄功能的方法,一种是...
    GB_speak阅读 5,789评论 2 25
  • 本文介绍一种单目视觉里程计的方法,重点说明当前帧的半稠密深度图估计过程,估计到的半稠密深度图反过来又可以用于跟踪当...
    变胖是梦想2014阅读 10,129评论 0 2
  • 本文将介绍如何根据相机在不同位置拍摄的两张图片恢复出相机的运动。在多视图几何学中,这被称为对极几何。 一、对极几何...
    金戈大王阅读 15,301评论 9 7
  • 前面用了好几篇文章介绍特征点法的相机位姿估计,本文则换一种思路,介绍近年来日渐流行的直接法。 一、直接法 与“光流...
    金戈大王阅读 6,286评论 0 1
  • 音乐类手游有不少 节奏大师曾经风靡一时 但它的逼格实在…… 恩所以小高今天整理了一些高颜值音乐手游 大琴师贰 ▼ ...
    游戏梵高_梵小高阅读 1,820评论 0 0