「 机器人视觉测量与控制 」
2007年8月 国防工业出版社
第一章：绪论
-
1.1 机器人视觉控制
摄像机标定：对摄像机内部参数、外部参数进行求取的过程，通常摄像机内部参数又称 内参数（Intrinsic Paramter），主要包括光轴中心点的图像坐标，成像平面坐标到图像坐标的放大系数（又称为 焦距归一化系数），镜头畸变系数等；摄像机外部参数又称为外参数（Extrinsic Parameter），是摄像机坐标系在参考坐标系中的表示，即摄像机坐标系与参考坐标系之间的变换矩阵。
视觉系统标定（Vision System Calibration）：对摄像机和机器人之间关系的确定称为 视觉系统标定，例如手眼标定，就是对摄像机坐标系与机器人坐标系之间关系的求取。
手眼系统（Hand Eye System）：由摄像机和机械手构成的机器人视觉系统，摄像机安装在机械手末端并随机械手一起运动的视觉系统称为eye in hand 式 手眼系统。摄像机不安装在机械手末端，且摄像机不随机械手运动的视觉系统称为eye to hand 式手眼系统。
立体视觉（Stereo Vision）：对目标在三维笛卡尔空间Cartesian Space 内的信息进行测量的视觉系统，称为立体视觉系统
结构光视觉（Structured Light Vision）：利用特定光源照射目标，形成人工特征，由摄像机采集这些特征进行测量，这样的视觉系统称为结构光视觉系统。由于光源的特征可以预先获得，光源在目标上形成的特征具有特定结构，所以这种光源称为结构光。结构光视觉可以简化图像处理中的特征提取，大幅提高图像处理速度，具有良好的实时性。结构光属于立体视觉。
主动视觉：对目标主动照明或者主动改变摄像机的参数的视觉系统，称为主动视觉系统。主动视觉可以分为结构光主动视觉和变参数主动视觉
-
1.2 机器人视觉控制的研究内容
机器人视觉控制 涉及的研究内容比较广泛，主要包括 摄像机标定、图像处理、特征提取、视觉测量、控制算法等。
1.2.1 摄像机标定
通常，在进行摄像机标定时，会在摄像机前方放置一个已知形状与尺寸的标定参照物，该参照物为 靶标。在靶标上，具有一些位置已知的标定点。常见的有平面靶标和立体靶标。
实际应用中，许多环境不允许放置特定的标定靶标，因此，需要一个不需要参照物的摄像机自标定（self calibration）技术。比如摄像机在三维空间内做两组平移运动，其中包括三次两两正交的平移运动，控制摄像机的姿态进行自标定。另外一种摄像机绕特定的轴转动的方法，实在自标定。除此之外，还有研究者利用平行线对摄像机进行自标定。在忽略镜头畸变的情况下，如果摄像机的光轴中心线与笛卡尔空间的平行线不垂直，则笛卡尔空间的平行线在图像空间成像后不再平行。每组平行线成像后的直线会有一个交点，这个交点称为消失点或者灭点。消失点中含有摄像机内参数信息，利用多个消失点可以获得摄像机的内参数。
1.2.2 视觉测量
视觉测量的研究重点包括 主动视觉测量、基于投影不变性的测量和基于序列图（sequence images）的测量等。
1.4.1.2 结构光参数标定进展
在结构光视觉测量中，系统参数标定有2种方法：一种是先对摄像机的内外参数进行标定，然后利用激光器的光束或者光平面在立体靶标上投射的光点或者光条标定出激光器的光束或者光平面的方程；另一种方法是将摄像机和激光器看成一个整体，利用4个以上的特征点的空间三维坐标和图像坐标，求取如下所示的变换矩阵，作为结构光视觉系统的参数。
第二章 摄像机与视觉系统的标定
-
2.1 摄像机模型
小孔模式：所有景物通过摄像机光轴中心点投射到成像平面上的摄像机模型，称为小孔模型。摄像机光轴中心点，是指摄像机镜头的光心。
-
2.5 手眼标定
上面的摄像机标定时，虽然也可以获得摄像机的外参数，但这只是标定用的 靶标的坐标系 相对于摄像机坐标系之间的变换关系，在某些应用中，还需要获得摄像机与机器人的坐标关系。这种关系的标定，又称为机器人的手眼标定。对于eye to hand 系统，手眼标定时求取的是摄像机坐标系相对于机器人的世界坐标系的关系。一般的，eye to hand 系统先标定出 摄像机相对于靶标的外参数，再标定机器人坐标系相对于机器人的世界坐标系的关系。
-
2.20 结构光视觉的参数标定
结构光采用激光器投射光点、光条或光面到工件的表面形成特征点，利用CCD摄像机获得图像，提取特征点，跟进三角测量原理求取特征点的三维坐标信息。本节着重介绍投射光条到工件表面的线结构光的标定方法。
在结构光视觉测量中，系统参数的标定方法主要有2种：一类方法为先对 摄像机的内外参数进行标定，然后利用激光器的光束或光平面 在立体靶标上投射的光点或光条来确定出 特征点的空间三维坐标，再由三个以上空间特征点的三维坐标 标定出激光器光束或者光平面的 方程；
另一类方法是将摄像机和激光器看成一个整体，直接利用4个以上的特征点的空间三维坐标和图像坐标，求取空间坐标与图像坐标之间的变换矩阵，作为结构光视觉系统的参数。第二类难度大，很少采用，这里介绍第一种。
第三章 视觉测量
-
3.1 视觉测量中的约束条件
视觉测量中，常需要对空间中的特征点在两幅或者多幅图像中的图像坐标进行匹配。这些图像可能是不同摄像机采集的，也可能是同一台摄像机在不同的视点采集的。
所谓特征匹配，就是在不同的图像上找到同一特征点的成像坐标。
-
3.3 立体视觉位置测量
能够对目标在 三维笛卡尔空间内的位置进行测量的视觉系统，称为立体视觉系统。立体视觉比较常见的有 双目视觉、多目视觉、结构光视觉。
3.3.1 双目视觉
第五章 应用实例
-
5.2 具有焊缝识别与跟踪功能的自动埋弧焊机器人系统
为了检测焊缝位置信息，人们研究了不同的焊缝探测传感器，其中，结构光视觉方式以其 精度高、抗干扰性好等优点，成为广泛采用的方案。
在焊接中，焊缝结构光图像不可避免的受到 弧光、烟雾和飞溅等干扰，当激光投射到光滑的表面时，常常会因为镜面反射产生高亮反光，干扰对焊缝位置的正确识别。
目前常用抗干扰方法包括：
在传感器装置上加装滤光镜以过滤弧光，提高激光器功率以增加图像的信噪比，增大激光束平面与焊点之间的距离等。在图像处理算法方面，采用图像逻辑与，图像增强、滤波、邻域判断法等。以上对于闪光和飞溅干扰有很好的效果，但金属表面的镜面反射，还是技术难点。
「 计算机视觉度量深入解析 」
2014年7月 美-Scott Krig 中国工信出版集团
第一章 图像的获取和表示
-
1.1 图像传感器技术
图像传感器的核心是CCD单元（charge-coupled device电荷耦合器件）或标准CMOS单位（complementary meta-oxide semiconductor 互补金属氧化物半导体）。CCD和CMOS传感器有类似的特征。他们被广泛应用在商业摄像机上。不过现代传感器大多使用CMOS单元，这出于成本考量。
1.1.1 传感器材料
硅制图像传感器应用最广，但工业和军事上应用镓来覆盖比硅更长的红外波长。
1.1.2 传感器光电二极管元件
图像传感器的关键在于光电二极管的大小或元件大小。
1.1.3 传感器配置：马赛克、Faveon、BSI
1.1.4 动态范围和噪声
当前，最先进的传感器每个颜色单元能提供至少8个比特位，通常是12-14个。传感器元件需要花费空间和时间来聚集光子，所以较小的元件必须经过精心设计，以避免产生一些问题。噪声可能来自于所用的光学元件、颜色滤波器、传感器元件、增益和A/D转化器、后期处理过程或者压缩方法等。
