论文：Accurate 3D Ground Plane Estimation from a Single Image

摘要：在机器人附近准确定位地标是解决SLAM问题的第一步。在这项工作中，我们提出了仅从机器人车载摄像头拍摄的单个图像中准确估算出机器人地标3D位置的算法。我们的方法与以前在此领域的努力不同，因为它首先从单个图像准确地重建3D环境，然后在环境上定义坐标系统，然后再使用环境特征针对此坐标系执行所需的定位。从给定图像中准确估计出地平面，然后将图像分割成地面和垂直区域。执行基于马尔可夫随机场（MRF）的3D重建，以构建给定图像的近似深度图。该贴图对于由于阴影，地形差异等引起的纹理变化具有鲁棒性。纹理分割算法也可用于准确确定地平面。估算出地平面后，我们将使用各自相机的内部和外部校准信息来计算有关场景中要素的准确3D信息。

1、介绍

       同步定位和制图（SLAM）是一个经典问题，未知地形中的机器人必须相对于其环境中要素的欧几里得坐标来构建地图，并且必须相对于该地图进行自身定位。 因此，准确地推断出特征相对于机器人的3D位置信息对于解决SLAM具有至关重要的意义。 传统上，已经使用激光扫描仪或立体视觉系统来估计这些特征的位置。 3D扫描仪的高昂成本以及对立体摄像机的正确校准的需求使得这两种传感器形式均不适用于此任务，因此这激发了人们寻求更好替代方案的研究。

        近年来，文献中报道了许多技术，这些技术集中于使用单眼线索进行深度估计。 这些努力的代表是阴影的深度[10]，模糊/聚焦/散焦的深度[11]，放大倍数的深度[13]等。 这些方法的问题在于它们对环境强加了明确的假设，例如朗伯反射，单一光方向等。在[3]的工作中，提出了基于纹理梯度的推断深度的方法，但其局限性 到无噪音的环境。 在[1]中讨论了从单个图像进行的三维重建，其中需要透视平面。 在[7]中，介绍了一种用于学习深度的动态贝叶斯模型，但仅限于室内图像。

        在[4]中报道的工作中，霍米姆等人。等人使用基于[5]的纹理分割算法将环境分为地面，垂直和天空。但是结果不仅似乎无法推广，而且该技术对于定位还不够准确。在[8]，[2]和[14]中，Saxena等人。 Al等人提出了一种用于从单个图像构建深度图的不同算法。该算法对接地平面上的纹理差异具有鲁棒性，它相对不受阴影影响，并且在发现图像中的不连续性方面效果很好。最后一项功能决定了其在障碍物检测中的用途。与他们的方法有关的一个问题是，输出是连续的，并且无法找到平面的边界或边缘，尤其是在考虑到重构曲面的不规则性时。 [2]中的作者建议使用机器学习直接确定平面参数，但发现该算法在实时操作时效率较低。同样，人们可能更感兴趣的是为机器人定位而不是视觉上令人愉悦的3D重建构建高精度的地面地图。

       我们的方法引入了一种结合Saxena等人的深度图结果的新颖方法。 [8]中的al等人，[5]中报道的纹理分割算法可提供准确的地面估计。我们方法的主要思想是根据给定图像构建准确的地面/垂直图像表示形式。我们的主要假设是，没有物体悬在空中，并且物体的深度可以通过物体接触地面的点与相机位置之间的距离来估算。在推导过程中，我们还假设嵌入在机器人上的摄像头的光轴与地面平行。我们的方法首先使用[8]中所述的MRF模型首先重建图像的3D深度图。我们认为MRF的平滑非常重要，因为不加选择的平滑会导致丢失有关机器人路径中障碍物的有价值信息。因此，我们引入了一种基于主成分分析（PCA）的新颖的平滑参数估计方法。

      为了找到地平面的边界，接下来按照[5]中概述的方法对图像进行纹理分割。 该算法返回图像中其包围的像素表现出相似纹理的片段（从此以后称为超像素）。 这种方法的问题在于，小的纹理差异（例如阴影或照明条件的变化）会导致分离的超像素。 为了构建准确的地平面，我们通过将深度图与超像素相结合来引入一种新颖的方法。找到地平面后，便会使用相机的校准以及有关其欧几里得位置的信息来构建图像的3D坐标系。 我们打算在将来解决与机器人同时运动以及由于机器人运动引起的特征坐标变化相关的复杂问题。

      该文档的其余部分组织如下：Webegin，其中包含II.A，II.B和II.C节中概述的估算地面平面的算法。 在第II.D节中，我们定义了一个参考帧，用于估计图像中像素的深度。 最后，我们将在第三节中讨论我们的实验，一些样本重构以及经验结果。、

2、平面估计

（1）3D深度图构造

人类从单一图像推断场景的3D结构方面几乎没有任何困难。这不仅归因于有关环境的先验知识，而且还归因于使用单眼线索，例如剧烈的变化，遮挡，已知的对象大小，雾度，散焦等。例如，许多对象的纹理在距查看者的不同距离处看起来会有所不同。纹理渐变捕获了边缘方向的分布，它是深度提示的宝贵来源。由大气光散射引起的雾度还可以提供纹理信息以定义深度。例如，天空的雾度与靠近相机的物体的雾度非常不同。这项研究源于[8]中描述的方法。它使用纹理能量，纹理渐变和雾度作为深度信息的来源。由于我们处理的纹理分布在三个颜色通道上的RGB图像，因此最好将图像信息转换为YCbCr格式，将纹理信息合并为一个强度通道。该像素强度信息由9个Laws掩码过滤器[6]，2个局部平均过滤器和6个NevatiaBabu纹理梯度过滤器[9]进行卷积。律和Nevatia-Babu滤波器如图1所示。这些滤波器的典型输出如图2所示。这17个滤波器的输出及其平方能量相结合，形成一个34维特征向量。为了包括有关相邻像素深度的信息，我们还包括来自四个相邻像素的特征向量，以形成34x5 = 170维特征向量。我们称其为绝对特征向量，因为其分量直接映射到像素的深度。绝对特征向量与另一个特征向量互补，称为相对特征向量，用于表示两个给定像素之间的相对深度。它是通过使用较早引入的17维特征向量形成的，该向量通过为每个维创建10 bin直方图来实现。

我们假设两个像素之间的相对深度与各个相对特征向量之间的差异成比例。

      现在，来自单个图像的深度信息已由复合特征向量表示（使用绝对和相对特征向量），在高斯马尔可夫随机场（MRF）[12]上应用了监督学习算法来估计后验分布图像中每个像素的深度。 我们没有像原始论文中讨论的那样在多个尺度上使用特征向量。 这是我们做出的一种折衷，因为引入的额外计算负担无法通过实现的准确性来证明。 给定由σ和θ参数化的特征向量X，我们对深度d的后验分布建模：

这里，Z是归一化常数，Eσ，θ（d，X）定义了吉布斯能量函数，而Xi是像素i处的特征向量，如前所述。 等式（2）中的第一项根据参数向量通过参数θr对像素i处的绝对深度进行建模。 从等式可以明显看出，我们使用特征向量与像素深度之间的线性关系。 对于图像的每一行使用不同的θr参数，因为我们使用水平安装的相机捕获了用于训练系统的激光深度图。 为了估计θr参数，我们对训练数据使用了线性最小二乘解。 （2）中的第二项根据像素i的四个相邻像素Ns（i）的深度对像素i的相对深度进行建模。

参数σr定义深度图的平滑度。 与θr参数的值类似，我们为图像的每一行估计不同的σr。 这些参数的估计对于深度图的创建非常重要，因为它定义了深度变化的平滑度。 我们引入基于PCA的方法来发现σ21r值。 我们找到一个超平面的参数Ur，使得σ21r = kUrXik。 本征分析用于估计Ur。 我们找到了行中所有像素与所有训练图像之间的di −Xiθr之差之间的协方差矩阵。 选择对应于最大特征值的特征向量，这形成给定行的向量Ur。

（2）纹理分割

由以上算法创建的深度图的问题是关于平面边界的信息的丢失。 我们无法区分深度的特定变化是由于估算误差还是仅仅是由于深度不连续。 此外，即使在多次平面平滑之后，它仍然具有不规则性，如图3（c）所示。为了解决这个问题，根据[5]中所述的算法，将原始图像划分为感知上相似的纹理区域，称为超像素。 我们的假设是，具有相似纹理的区域更可能位于同一平面上，因此即使深度图在估计中给出了不规则性，也可以从图像分割得到的信息中对此进行校正。 图4显示了超像素输出。 在下一节中，我们提出一种合并共面超像素的策略，从而确定地平面

（3）推断地平面

如前几节所述，基于MRF的算法为我们提供了每个像素深度的估计，但是我们丢失了有关图像平面的信息。 超像素算法可在图像中提供平面，但是缺少有关共面性的信息。 在本节中，我们描述了一种将这两种方法结合起来以更可靠地评估接地层的算法。

我们认为超像素是图的节点，相邻的超像素与图的边链接。 由于超像素化算法的输出是一组复杂形状的唯一有色区域，因此我们设计了一种从超像素图获得邻接矩阵的策略。 该算法如下所示：

在算法1中，EdgeDetector（）获取超像素图像并从超像素生成边缘图。由于这些边缘是超像素的边界，因此检查边缘周围区域的颜色将提供有关邻域的信息。该算法以O（E）时间运行，其中E表示图中的边数。图5显示了通过上述算法确定的超像素和相邻超像素的输出。找到邻接矩阵后，我们对在超像素平面上移动的图形执行广度优先搜索（BFS），并检查相邻平面是否共面。我们假设机器人位于图像底部中心的超像素平面上。因此，机器人导航的最佳路径很可能与该平面共面。我们从分割图底部中心的超像素开始BFS，然后从邻接矩阵向上穿过邻居。对于每个相邻的超像素，我们对n个点进行采样，将这些点映射到在II.A节中找到的深度图中的相应点，然后使用Moore-Penrose伪逆将3D平面拟合到这n个点中。一旦找到了这些平面的法向单位向量，我们便会检查这些向量之间的余弦相似度。那些具有高余弦相似度的平面更可能是共面的，因此这些超像素被合并。图6显示了该方案的示意图。

（4）从地平面构建参考平面

现在已经确定了地平面，我们可以使用摄像机的校准以及关于其欧几里得坐标的假设来找到正确的距离图。 图7描述了场景

这里P是光学中心，h是相机的高度，I是像平面，G是地平面，f是焦距，D是地平面上图像最底行距像平面的实际深度 。 另外，d是深度，h1和h2表示图像平面上投影的地面点的高度。

确定接地平面后，首先使用相机校准矩阵对给定图像进行反校准。 我们使用以下方程式确定每个像素的实际深度：

4、实验与结果

在下面讨论的实验结果中，我们使用了MIT实现的超像素化算法对图像进行纹理分割。 所有其他算法均在Matlab中实现。 我们还实现了基于MRF的深度图创建算法，并使用了Stanford Make3D 400图像/深度图数据集来培训和测试我们的实现。 集合中的400张图像中，我们使用了200张图像来训练系统，其余的用于测试。 每个图像的大小为1704 x 2272，每个depthmap的大小为55x305。OnaPCrunningona2GHz奔腾处理器和2GB RAM，我们的实现每个图像花费1-2秒来生成3D重建。

我们发现，对于35上方和25下方的行，我们的实现输出给出了非常好的深度图。估计误差的图如图8所示。

我们发现，对于35上方和25下方的行，我们的实现输出给出了很好的深度图。图8中显示了估算误差的图。从图8可以看出，误差在周围很高。 图像的中间行。 这是由于机器人安装了摄像机，并且沿着地面和垂直平面相交的地平线，训练图像的深度变化非常大。 因此，我们的算法将无法在这些点上提供良好的深度估计。 但是，这是我们可以解决的一个问题，因为我们只对构建地平面感兴趣，因此到目前为止，我们无需考虑深度图。

表I提供了我们的算法与给定激光数据的经验比较。由于我们不知道相机的欧几里得坐标，因此我们根据图像和相应的激光数据对它们进行了估算。数据集被分为校园，道路和森林的图像。从表中可以看出，由于嘈杂的环境中纹理变化太多，林组显示了最大的误差。在我们的实验中，我们发现在许多其他情况下，我们算法的输出看起来要优于激光深度图。这是因为激光深度图会随着距相机的距离而降低，但是我们的算法使用预测的深度图和平面相似度来提高估计地平面的准确性。图9至图11显示了各种情况下的接地平面估算。在每种情况下的预测接地平面均以绿色显示。图12显示了从图像重建的3D环境的两个样本。图13比较了我们的方法和MAP估计的原始输出。图14和15显示了预测深度图与激光距离数据的比较。

4、结论与未来工作

在这项工作中，我们介绍了一个用于精确估计地平面的框架，并展示了如何将单个图像中的像素映射到相对于相机中心的3D欧几里得坐标。 结果发现，将预测深度图与超像素算法相结合可以实现更好的地面平面估计。新算法对地面上的阴影或纹理差异具有鲁棒性，同时还有助于检测机器人导航路径中的障碍物。 对于性能不佳的森林等不规则照明区域，可以改进该算法。 在当前的工作中，我们没有考虑与机器人运动相关的复杂性，也没有研究如何从多个角度组合3D重建。 这些是