2015-04-05-《OpenCV 2 计算机视觉编程手册》读书笔记

鉴于中文语境下，学习 OpenCV 的资料其实稀少，不是主要讲解已经过时de 1.x 版内容《学习 OpenCV》，就是各路博主碎片化的学习心得，《OpenCV 2 计算机视觉编程手册》可以说是学习 OpenCV 的最佳入门途径了。最近需要将卷积神经网络的 Matlab 代码转换成 C++ 的，我也向实验室同房间的一位学弟借了此书，大致看了一下，重点看了第 1 章、第 2 章、第 6 章和附录。

因为这书是手册性质的，都是一些函数实例，所以记录下来，以便日后再用。下文是书中部分内容的摘录，夹杂一些我的理解。全文可能有点长，遂给出目录如下：

第1章 接触图像
第2章 操作像素
第6章 图像滤波
附录 OpenCV3 介绍及代码导读

勘误
我的困惑
下一步计划

<div id="Section1">第1章 接触图像</div>

  • OpenCV 库的结构
  • 载入、显示及保存图像

OpenCV 库的结构

  • sources文件夹下的子文件夹：
    • doc 文件夹中包含的是文档 + include 文件夹中是所有头文件
    • modules 文件夹中包含所有的源程序
    • samples 文件夹中则是许多简短的学习用范例

第 2 页讲了下怎么编译的，对于新版 OpenCV 来说已经没有必要了，解压后的 build 文件夹就是编译好的内容。

第 3 页介绍了各模块的功能，还有推荐的声明方式，为什么要用这种声明方式呢？

第 6 页提到，为了遵循 ANSI C++ 标准，在用 Visual Studio 建立工程时选择 Application Settings 时，没有勾选 Precompiled Header 选项，这是 Visual Studio 的预编译头文件特性，可以加速编译过程。

载入、显示及保存图像

  • 声明图像变量
cv::Mat image;

创建宽高都为0的图像，返回值是一个结构体，

  • 图像读取、解码以及内存分配
image = cv::imread("img.jpg");
  • 检查图像是否被正确读取
if (!image.data) {
    // 图像尚未创建……
}

此处的成员变量data事实上是指向已分配的内存块的指针，包括图像数据。当不存在数据时，它被简单设置为0.

  • 声明一个需要进行图像显示的窗口，接着指定需要显示的图像：
cv::namedWindow("Original Image");  // 定义窗口
cv::imshow("Original Image", image); // 显示图像

显示图像的这条语句之所以还要出现窗口名称，是为了指定究竟把图像显示到哪个窗口去，因为可能存在多个窗口。

  • 图像翻转
cv::Mat result;
cv::flip(image, result, 1); // 1表示水平翻转
                            // 0表示垂直翻转
                            // 负数表示既有水平也有垂直翻转
  • 等待用户输入
cv::waitKey(0)； //括号中填的数字是毫秒数，0为一直等待

如果没有这句话，显示的图像会一闪而过。

  • 将图像写到磁盘
cv::imwrite("output.bmp", result);

文件的后缀名决定了图像保存时的编码格式。

  • 指定初始尺寸
cv::Mat ima(240, 320, CV_8U, cv::Scalar(100));

CV_8U对应的是单字节的像素图象，字母U意味着无符号的（Unsigned）。对于彩色图像，需要指定3个通道（CV_8UC3）。

当 cv::Mat 对象离开作用域后，分配的内存将自动释放，从而避免内存泄漏的困扰。
另外，cv::Mat 实现了引用计数以及浅拷贝，当图像之间进行赋值时，图像数据并没有发生复制，两个对象都指向同一块内存块。这也可用于参数传值的图像，以及返回值传值的图像。引用计数的作用是当所有引用内存数据的对象都被析构后，才会释放内存块。如果你希望创建的图像拥有原始图像的崭新拷贝，那么可以使用copyTo()方法。

cv::Mat image2, image3;
image2 = result; // 两幅图像拥有同一份数据
result.copyTo(image3); // 创建新的拷贝

如果翻转output图像，并显示image2和image3，可以看到image2页翻转了，而image3没有变。

同理，函数返回其实也是一次浅拷贝过程。

cv::Mat function() {
    // 创建图像
    cv::Mat ima(240, 320, CV_8U, cv::Scalar(100));
    // 并返回它
    return ima;
}

// 得到灰度图
cv::Mat gray = function();

在函数function内，ima只是个局部变量，在离开作用域时应当被析构掉，但由于他所关联的引用计数表示内部图像正在被另一个对象gray所引用，因此内存块并不会被释放。

<div id="Section2">第2章 操作像素</div>

  • 彩色或灰度图像存取像素值
void salt（cv::Mat &image, int n) {
    for (int k = 0; k < n; k++) {
        // rand() 是随机数生成函数
        int i = rand() % image.cols;
        int j = rand() % image.rows;
        if (image.channels() == 1) { // 灰度图
            image.at<uchar>(j,i) = 255;
        } else if (image.channels() == 3) { // 彩色图
            image.at<cv::Vec3b>(j,i)[0] = 255;
            image.at<cv::Vec3b>(j,i)[1] = 255;
            image.at<cv::Vec3b>(j,i)[2] = 255;
        }
    }
}

  • 类 cv::Mat 有若干成员函数可以获取图像的属性。公有成员变量 cols 和 rows 给出了图像的宽和高。成员函数 at(int y, int x) 可以用来存取图像元素。 但是必须在编译期知道图像的数据类型，因为 cv::Mat 可以存放任意数据类型的元素。这也是这个函数用模板函数来实现的原因。所以 at 方法要指定数据类型，而且 at 方法本身不会进行任何数据类型转换。

  • cv::Vec3b，即由三个 unsigned char 组成的向量。

image.at<cv::Vec3b>(j,i)[channel] = value;

索引值 channel 标明了颜色通道号。
类似的，还有二元素向量类 cv::Vec2b 和四元素向量类 cv::Vec4b，s 代表 short，i 代表 int，f 代表 float，d 代表 double。所有这些类型都是使用模板类 cv::Vect<T, N> 定义的，其中 T 代表类型，N 代表向量中的元素个数。

  • 有时候使用 cv::Mat 的成员函数会很麻烦，因为返回值的类型必须通过在调用时通过模板参数指定。因此，OpenCV 提供了类 cv::Mat_，它是 cv::Mat 的一个模板子类。在事先知道矩阵类型的情况下，使用 cv::Mat_ 可以带来一些便利。这个类额外定义了一些方法，但是没有任何成员变量，所以此类的指针或者引用可以直接进行相互类型转换。该类重载了操作符 ()，允许我们可以通过它直接存取矩阵元素。因此，假设有一个 uchar 类型的矩阵，我们可以这样写：
cv::Mat_<uchar> im2 = image; // im2 指向 image
im2(50, 100) = 0; // 存取第 50 行，100列

由于 cv::Mat_ 的元素类型在创建实例的时候已经声明，操作符 () 在编译期就知道要返回的数据类型。使用操作符 () 得到返回值和使用 cv::Mat 的 at 方法得到的返回值是完全一致的，而且写起来更加简洁。

  • 双重循环遍历所有像素值：
void colorReduce(cv::Mat &image, int div = 64) {
    int nl = image.rows; // 行数
    int nc = image.cols * image.channels();
    for (int j = 0; j < nl; j++) {
        // 得到第 j 行的首地址
        uchar* data = image.ptr<uchar>(j);
        for (int i = 0; i < nc; i++) {
            data[i] = data[i] / div * div + div / 2;
        }
    }
}

  • OpenCV 默认使用 BGR 的通道顺序，而且 size 成员函数返回的先是宽，然后是高，成员变量 cols 代表图像的宽度（列数），rows 代表图像的高度，step 代表以字节为单位的图像的有效宽度，即使你的图像元素类型不是 uchar，step 仍然带代表着行的字节数。图像的通道数可以由 channels 方法得到，total 函数返回矩阵的像素个数，像素大小可以从 elemSize 函数得到，对于一个三通道的 short 型矩阵 CV_16SC3， elemSize 返回 6。

  • 为了简化指针运算，cv::Mat 提供了 ptr 函数可以得到图像任意行的首地址。 ptr 函数是一个模板函数，它返回第 j 行的首地址：

uchar* data = image.ptr<uchar>(j);

等效地使用指针运算从一列移到下一列，所以，也可以这么些：

*data++ = *data / div * div + div / 2;
  • 有一个知识，跟能否快速遍历图像有关，需要提前知道，那就是：

出于效率的考虑，OpenCV 可能会给矩阵的每行填补一些额外元素。这是因为，如果行的长度是 4 或 8 的倍数，一些多媒体处理芯片（如 Intel 的 MMX 架构）可以更高效地处理图像。这些额外的像素不会被显示或者保存，填补的值将被忽略。OpenCV将填补后一行的长度指定为关键字。如果图像没有对行进行填补，那么图像的有效宽度就等于图像的真实宽度。
当不对行进行填补的时候，图像可以被视为一个长为 W*H 的一维数组。我们可以通过 cv::Mat 的一个成员函数 isContinuous 来判断这幅图像是否对行进行了填补。如果 isContinuous 方法返回值为真的话，说明这幅图像没有对行进行填补。在一些图像处理算法中，我们可以利用图像的连续性，把整个处理过程使用一个循环完成；

void colorReduce(cv::Mat &image, int div = 64) {
    int nl = image.rows; // 行数
    int nc = image.cols * image.channels();
    if (image.isContinuous()) {
        // 没有额外的填补像素
        nc = nc * nl;
        nl = 1; // it is now a 1D array
    }
    // 对于连续图像，本循环只执行一次
    for (int j = 0; j < nl; j++) {
        // 得到第 j 行的首地址
        uchar* data = image.ptr<uchar>(j);
        for (int i = 0; i < nc; i++) {
            data[i] = data[i] / div * div + div / 2;
        }
    }
}

当我们通过 isContinuous 函数得知图像没有对行进行填补之后，我们就可以将宽设置为 1，高度设置为 W*H，从而消除外层循环。注意，我们也可以使用 reshape 方法来重写这段代码：

if (image.isContinous()) {
    // no padded pixels
    image.reshape(1, image.cols*image.rows); // 分别是行数和通道数
}
int nl = image.rows; // 列数
int nc = image.cols * image.channels();

reshape 不需要内存拷贝或者重新分配就能改变矩阵的维度。两个参数分别为新的通道数和新的行数。矩阵的列数可以根据新的通道数和行数来自适应。
在这些视线中，内存循环一次处理图像的全部像素。这个方法在同时处理若干个小图像时会很有优势。

底层指针运算

在类 cv::Mat 中，图像数据以 unsigned char 形式保存在一块内存中。这块内存的首地址可以通过 data 成员变量得到。data 是一个 unsigned char 型的指针，uoyi循环可以以如下方式开始：

uchar *data = image.data;

从当前行到下一行可以通过对指针加上行宽完成：

data += image.step; // 下一行

step 代表图像的行宽（包括填补像素）。通常而言，你可以通过如下方式获得第 j 行、第 i 列像素的地址：

// (j, i) 处像素的地址为 &image.at(j, i)
data = image.data + j * image.step + i * image.elemSize();

但是，即使这种方式确实行之有效，我们依然不建议使用这种处理方式。因为这种方式除了容易出错，还不适用于带有“感兴趣区域”的图像。

使用迭代器遍历图像

在面向对象的编程中，遍历数据集合通常是通过迭代器来完成的。迭代器是一种特殊的类，它专门用来遍历集合中的各个元素，同时隐藏了在给定的集合上元素迭代的具体实现方式。这种信息隐蔽原则的使用使得遍历集合更加容易。另外，不管数据类型是什么，我们都可以使用相似的方式遍历集合。标准模板库 STL 为每个容器类型都提供了迭代器，OpenCV 同样为 cv::Mat 提供了与 STL 迭代器兼容的迭代器。
一个 cv::Mat 实例的迭代器可以通过创建一个 cv::MatIterator_ 的实例来得到。类似于子类 cv::Mat_，下划线意味着 cv::MatIterator_ 是一个模板类。之所以如此是由于通过迭代器来存取图像的元素，就必须在编译期知道图像元素的数据类型。一个图像迭代器可以用如下方式声明：

cv::MatIterator_<cv::Vec3b> it;

另外一种方式是使用定义在 Mat_ 内部的迭代器类型：

cv::Mat_<cv::Vec3b>::iterator it;

这样就可以通过常规的 begin 和 end 这两个迭代器方法来遍历所有像素。值得指出的是，如果使用后一种方式，那么 begin 和 end 方法也必须要使用对应的模板化的版本。这样，颜色缩减函数就可以重写为：

void colorReduce(cv::Mat &image, int div = 64) {
    // 得到初始位置的迭代器
    cv::Mat_<cv::Vec3b>::iterator it = image.begin<cv::Vec3b>();
    // 得到终止位置的迭代器
    cv::Mat_<cv::Vec3b>::iterator itend = image.end<cv::Vec3b>();    
    // 遍历所有像素
    for (; it != itend; ++it) {
        (*it)[0] = (*it)[0] / div * div + div / 2;
        (*it)[1] = (*it)[1] / div * div + div / 2;
        (*it)[2] = (*it)[2] / div * div + div / 2;
    }
}

注意，因为我们这里处理的彩色图像，所以迭代器返回的是 cv::Vec3b，每个颜色分量可以通过操作符 [] 得到。

使用迭代器遍历任何形式的集合都遵循同样的模式。首先，创建一个迭代器特化版本的实例。在我们的示例代码中，就是 cv::Mat_<cv::Vec3b>::iterator （或者 cv::MatIterator_<cv::Vec3b>）.
然后，使用集合初始位置（图像的左上角）的迭代器对其进行初始化。初始位置的迭代器通常是通过 begin 方法得到的。对于一个 cv::Mat 的实例，你可以通过 image.begin<cv::Vec3b>() 来得到图像左上角位置的迭代器。你也可以通过对迭代器进行代数运算。例如：如果你想从图像的第二行开始，那么你可以用 image.begin<cv::Vec3b>() + image.rows 来初始化迭代器。集合终止位置的迭代器可以通过 end 方法得到。但是end 方法得到的迭代器其实已经超出了集合。这也意味着迭代过程必须在迭代器到达这个位置时结束。end 方法得到的迭代器也可以进行代数运算。如果，你希望迭代过程在图像最后一行之前停止，那么迭代器的终止位置应该是 image.end<cv::Vec3b>() - image.rows。一旦迭代器初始化完成之后，你就可以创建一个循环遍历所有的元素知道到达终止位置。一个典型的 while 循环如下所示：

while (it != itend) {
    // do something
    ...
    ++it;
}

操作符 ++ 用来将迭代器从当前位置移动到下一个位置，你也可以使用更大的补偿，比如，用it+=10将迭代器每次移动 10px。
在循环体内部，你可以使用解引用操作符 * 来读写当前元素。都操作使用 element = *it，写操作使用 *it = element。注意：如果你的操作对象是 const cv::Mat，或者你想强调当前循环不会对 cv::Mat 的实例进行修改，那么你就应该创建常量迭代器。常量迭代器的声明如下：

cv::MatConstIterator_<cv::Vec3b> it;

或者

cv::Mat_<cv::Vec3b>::const_iterator it;

在本例中，迭代器的开始位置和终止位置是通过模板函数 begin 和 end 得到的。如果我们在本章第一则秘诀中所做的那样，我们可以通过 cv::Mat_ 的实例来得到他们。这样可以避免在使用 begin 和 end 方法的时候还要置顶迭代器的类型。之所以可以这样，是因为一个 cv::Mat_ 引用在创建的时候就隐式声明了迭代器的类型。

cv::Mat_<cv::Vec3b> cimage = image;
cv::Mat_<cv::Vec3b>::iterator  it = cimage.begin();
cv::Mat_<cv::Vec3b>::iterator  itend = cimage.end();

之所以这个例子可以而前面那个例子不可以是因为，前面那个例子的图像类型是 cv::Mat， 而这个例子的图像类型是 cv::Mat_。

获取代码运行时间

OpenCV 有一个非常实用的函数 cv::getTickCount() 可以用来测量一段代码的运行时间。这个函数返回从上次开机算起的时钟周期数。由于我们需要的是某个代码段运行的毫秒数，因此还需要另外一个 cv::getTickFrequency()。此函数返回没秒内的时钟周期数，用于统计函数（或一段代码）耗费时间的方法如下：

double duration;
duration = static_cast<double>(cv::getTickCount());
colorReduce(image); // 被测试的函数
duration = static_cast<double>(cv::getTickCount()) - duration;
duration /= cv::getTickFrequency(); // 运行时间，以 ms 为单位
访问方式 时间
data[i] = data[i] / div * div + div / 2; 37ms
*data++ = *data / div * div + div / 2; 37ms
*data++ = v - v % div + div / 2; 52ms
*data++ = *data&mask + div / 2; 35ms
colorReduce(input, output); 44ms
i<image.cols*image.channels()>; 65ms
MatIterator 67ms
.at(j,i) 80ms
3-channel loop 29ms

当输出图像需要被重新分配而不是以原地(in-place)方式处理时（第5行），运行时间为44ms，比 in-place的要慢。额外的时间消耗来自于内存分配。在循环体内存，对于可提前计算的变量应避免重复计算。

图像邻域操作的一个例子

void sharpen(const cv::Mat &image, cv::Mat &result) {
    // 如有必要则分配内存
    result.create(image.size(), image.type());
    for(int j = 1; j < image.rows-1; j++) { // 处理除了第一行和最后一行之外的所有行
        const uchar* previous = image.ptr<const uchar>(j-1); // 上一行
        const uchar* current = image.ptr<const uchar>(j); // 当前行
        const uchar* next  = image.ptr<const uchar>(j+1); // 下一行
        for(int i = 1; i < image.cols - 1; i++) {
            *output++ = cv::saturate_cast<uchar>(5*current[i]-current[i-1]-current[i+1]-previous[i]-next[i]);
        }
    }
    // 将未处理的像素设置为0
    result.row(0).setTo(cv::Scalar(0));
    result.row(result.rows-1).setTo(cv::Scalar(0));
    result.col(0).setTo(cv::Scalar(0));
    result.col(result.cols-1).setTo(cv::Scalar(0));
}

在计算输出像素值时，模板函数 cv::saturate_cast 被用来对计算结果进行阶段。
setTo 函数可以用来设置矩阵的值，这个函数会将矩阵的所有元素都设为指定的值。对于一个三通道的彩色图像，需要用 cv::Scalar(a,b,c) 来指定像素三个通道的目标值。

void sharpen2D(const cv::Mat &image, cv::Mat &result) {
    // 构造核（所有项都初始化为 0）
    cv::Mat kernel(3, 3, CV_32F, cv::Scalar(0));
    // 对核元素进行赋值
    kernel.at<float>(1,1) = 5.0;
    kernel.at<float>(0,1) = -1.0;
    kernel.at<float>(2,1) = -1.0;
    kernel.at<float>(1,1) = -1.0;
    kernel.at<float>(1,2) = -1.0;
    // 对图像进行滤波
    cv::filter2D(image, result, image.depth(), kernel);
}
  • 函数 cv::split 将彩色图像的三个通道分别拷贝到三个独立的 cv::Mat 实例中，然后在对这个通道单独处理。
// 创建一个图像向量
std::vector<cv::Mat> planes;
// 讲一个三通道图像分离为三个单通道图像
cv::split(image1, planes);
planes[0] += image2;
// 将三个单通道图像重新合并为一个三通道图像
cv::merge(planes, result);

提取兴趣区域（其实就是slicing）

imageROI = image(cv::Rect(colId, rowId, logo.cols, logo.rows));

定义ROI的一种方法是使用 cv::Rect，顾名思义，cv::Rect 表示一个矩形区域。指定矩形的左上角坐标（构造函数的前两个参数）和矩形的长宽（构造函数的后两个参数）就可以定义一个矩形区域。
另一种定义ROI的方式是指定感兴趣行或列的范围（Range）。Range是指从起始索引到终止索引（不包含终止索引）的一段连续序列。cv::Range 可以用来定义Range。如果用 cv::Range 来定义 ROI，那么前例中定义 ROI 的代码可以重写为：

cv::Mat imageROI = image(cv::Range(270,270+logo.rows), cv::Range(385,385+logo.cols));

cv::Mat 的 () 操作符返回另一个 cv::Mat 实例，这个实例可以用在接下来的函数调用中，因为ROI和原始图像共享数据缓冲区，对ROI的任何变换都会影响到原始图像的对应区域。由于创建ROI时不会拷贝数据，所以不论ROI的大小如何，创建ROI的运行时间都是常量。
如果想创建包含原始图像特定行的ROI，可以使用如下代码：

cv::Mat imageROI = image.rowRange(start, end);

类似地，对于列：

cv::Mat imageROI = image.colRange(start, end);

在秘诀“遍历图像和邻域操作”中使用到的row方法和col方法其实是rowRange和colRange方法的特例，即起始索引等于终止索引，等于是定义了一个单行或单列的ROI。

<div id="Section6">第6章 图像滤波</div>

  • 均值滤波
cv::blur(image, result, cv::Size(5,5));
  • 高斯滤波
cv::GaussianBlur(image, result, cv::Size(5,5), 1.5);

这个 1.5 就是高斯函数的$\sigma$，决定高斯函数平坦与否。

  • 生成 1 维高斯核
cv::Mat gauss = cv::getGaussianKernel(9, sigma, CV_32F);

9就是一维高斯核向量的长度。

  • 先对原图应用低通滤波，然后隔行、隔列取出像素
cv::Mat reducedImage; // 包含缩小后的图像
cv::pyrDown(image, reducedImage); //将图像尺寸减半

同理，还存在 cv::pyrUp 函数将图像尺寸放大一倍。

  • 指定目标图像的尺寸
cv::Mat reducedImage; // 包含改变尺寸后的图像
cv::resize(image, reducedImage, cv::Size(image.cols/3, image.rows/3)); // 改变为 1/3 大小

还提到了 cv::boxFilter 和 cv::filter2D 函数

  • 中值滤波
cv::medianBlur(image, result, 5);
  • Sobel函数
    cv::Sobel
    cv::minMaxLoc
    sobel.convertTo
    cv::threshold
    cv::cartToPolar
    cv::Scharr

<div id="Section7">附录

把附录的内容全部敲下来，因为让你更好地理解OpenCV的组织架构，以及它是什么，能做到什么？还有就是samples/cpp/ 文件夹中的范例介绍，应该有最纯正的OpenCV编程风格，可以用于学习。

OpenCV3的改动在哪？
C风格的API很快将会消失，完全被C++的API替代，代码风格更加简洁，不易出错。读者如果想借助OpenCV最新的功能，记得清理代码中C风格API
C++ API将更加简洁
所有的算法都将继承自 cv::Algorithm 接口
大型的模块拆分为小模块，模块将在后面继续讲解。

OpenCV 3 的源代码文件夹：

  • 3rdparty/: 包含第三方库，如用视频解码用的 ffmpeg、jpg、png、tiff 等图片的解码库。
  • apps/: 包含进行 Haar 分类器训练的工具，OpenCV 进行人脸检测便是基于 Haar 分类器。如果你想检测人脸以外的图片，千万不要错过这几个工具。
  • cmake/: 包含生成工程项目时 cmake 的依赖文件，用于只能搜索第三方库，普通开发者不需要关心这个文件夹的内容。
  • data/: 包含 OpenCV 库及范例中用到的资源文件，Haar 物体检测的分类器位于 haarcascades 子文件中。
  • doc/: 包含生成文档所需的源文件及辅助脚本。
  • include/: 包含入口头文件。OpenCV 子文件夹中是 C 语言风格的 API，也就是《学习 OpenCV》中描述的 API 函数，官方将逐渐淘汰 C 风格函数，因此我不推荐大家使用该文件夹中的头文件。OpenCV 2 子文件夹中只有一个 opencv.hpp 文件，这是 OpenCV 2 及 OpenCV 3 推荐使用的头文件。
  • modules/: 包含核心代码，OpenCV 真正的代码都在这个文件夹中。OpenCV 从 2.0 开始以模块的方式组织各种功能，近两年模块的数量增长得很快，后面我会依次介绍每个模块的作用。
  • platforms/: 包含交叉编译所需的工具链及额外的代码，交叉编译指的是在一个操作系统中编译供另一个系统使用的文件。
  • samples/: 这是大家最喜欢的范例文件夹，后面我也会进一步讲解。

CPU模块

  • androidcamera/: 仅用于 Android 平台，使得可以通过与其他平台相同的接口来控制 Android 设备的相机。
  • core/: 核心功能模块，定义了基本的数据结构，包括最重要的 Mat 类、XML 读写、OpenGL 三维渲染等。
  • imgproc/: 全称为 Image Processing，即图像处理，包括图像滤波、集合图像变换、直方图计算、形状描述子等。图像处理是计算机视觉的重要工具。
  • highgui/: 高级图形界面及多媒体文件读写，包括用户界面、Qt、对图像及视频文件的读写操作。
  • video/: 视频分析模块，包括背景提取、光流跟踪、卡尔曼滤波等，做视频监控的开发者会经常使用这个模块。
  • calib3d/: 相机标定及三维重建。相机标定用于取出相机自身缺陷导致的画面形变，还原真实的场景，确保计算的准确性。三维重建通常用在双目视觉（立体视觉），即两个标定后的摄像头观察同一个场景，通过计算两幅画面中的相关性来估计像素深度。
  • features2d/: 包含 2D 特征值检测的框架。包含各种特征值检测器及描述子，如 FAST、MSER、OBRB、BRISK 等。各类特征值拥有统一的算法接口，因此在不影响程序逻辑的情况下可以替换替换。
  • objdetect/: 物体检测模块，包括 Haar 分类器、SVM 检测器及文字检测。
  • ml/: 全称为 Machine Learning，即机器学习。包括统计模型、K 最近邻、支持向量机、决策树、神经网络等经典的机器学习算法。
  • flann/: 用于在多维空间内聚类及搜索的近似算法，做图像检索的开发者对它不会陌生。
  • photo/: 计算摄影学，包括图像修补、去噪、HDR 成像、非真实感渲染等。如果读者想实现 Photoshop 的高级功能，那么这个模块必不可少。
  • stitching:/ 图像拼接，可用于制作全景图。
  • nonfree/: 受专利保护的算法，包括 SIFT 和 SURF。从功能上来说，这两个算法属于 features2d 模块，但由于它们都是受专利保护的，相拥在项目中可能需要专利方的许可。
  • contrib:/ 包含新添加的实验性质的代码。开发者期待已久的人脸识别功能便位于这个模块内，名为 FaceRecognizer。
  • legacy/: 英文含义为遗产，即废弃已久的代码，官方不推荐使用这个模块中的功能。
  • optim/: 全称为 Optimization，这个模块包含通用的数值优化。包含线性规划等算法。
  • shape/: 形状匹配算法模块，用于描述形状、比较形状。
  • softcascade/: 另一种物体检测算法，Soft Cascade 分类器，包含检测模块和训练模块。
  • superres/: 全称为 Super Resolution，用于增强图像的分辨率。
  • videostab/: 全称为 Video Stabilization，用于解决相机移动拍摄时视频不够稳定的问题。
  • viz/: 三维可视化模块。可以认为这个模块实现了一个简单的三维可视化引擎，有各种 UI 空间和键盘、鼠标交互方式。底层实现基于 CTK 这个第三方库。

CUDA模块

这些模块的名称都以 cuda 开始，cuda 是显卡制造商 NVIDIA 推出的通用计算语言，在 OpenCV 3 中有大量的模块已经被移植到了 cuda 语言。让我们依次看一下。

  • cuda/: CUDA- 加速的计算机视觉算法，包括数据结构 cuda::GpuMat、基于 cuda 的相机标定及三维重建等。
  • cudaarithm/: CUDA- 加速的矩阵运算模块。
  • cudabgsegm/: CUDA- 加速的背景分割模块，通常用于视频监控。
  • cudacodec/: CUDA- 加速的视频编码与解码。
  • cudafeatures2d/: CUDA- 加速的特征检测与描述模块，与 features2d/ 模块功能类似。
  • cudafilters/: CUDA- 加速的图像滤波。
  • cudaimgproc/: CUDA- 加速的图像处理算法，包含直方图计算、霍夫变换等。
  • cudaoptflow/: CUDA- 加速的光流检测算法。
  • cudastereo/: CUDA- 加速的立体视觉匹配算法。
  • cudawarping/: 实现 CUDA- 加速的快速图像变换，包括透视变换、旋转、改变尺寸等。

samples/ 文件夹

  • android/: Android 平台的范例。既有完全是 Java 的工程，也有完全是 C++ 的工程，也有更为常见的 Java 与 C++ 共存的工程。
  • c/: 使用 C API 的范例。在 C API 逐渐退出历史舞台后，这个文件夹也应该会随之消失吧。
  • cpp/: 由于 OpenCV 是一款 C++ 库，因此 C++ 的返利是最多的，后面将重点介绍。
  • directx/: directx (d3d) 是微软的私有三维图像 API，这个文件夹中的范例覆盖了 d3d9、d3d10、d3d11.
  • gpu/: 利用 cuda 加速的范例。
  • java/: OpenCV 3 官方支持 Java 语言绑定，因此这里演示如何使用 Java 版本的 OpenCV。
  • python2/: OpenCV 3 官方支持 Python 语言绑定，因此这里演示使用 Python 2 版本的范例。
  • tapi/: tapi 是 OpenCV 3 的一个新特性，使用 cv::UMat 替代 cv::Mat，实现 CPU 和 GPU 的运算使用统一的接口，不再需要显式地在 CPU 和 GPU 之间传递数据，方便开发人员。
  • winrt/: Windows RT 平台的范例，开发语言是微软的 C++ “方言”.

samples/cpp/ 文件夹中的范例介绍

  • 3calibration.cpp/: 同时标定三台水平放置的相机。

  • bagofwords_classification.cpp/: 使用图像检测实现简易的图像搜索功能。

  • bgfg_gmg.cpp/: 演示 GMG 背景检测算法的使用方式。

  • bgfg_segm.cpp/: 演示高斯混合背景检测算法的使用方式。

  • brief_match_test.cpp/: 使用 BRIEF 特征值来匹配两张图像。

  • build3dmodel.cpp/: 演示如何使用基础矩阵和特征值来创建三维模型。

  • calibration.cpp/: 完整的多用途标定程序。

  • calibration_artificial.cpp/: 在程序中生成一个虚拟的相机，并进行标定。

  • camshiftdemo.cpp/: 读取实时的摄像头数据，并演示基于均值偏移算法的视频跟踪。

  • chamfer.cpp/: 使用 Chamfer 算法匹配两副边缘图像。

  • cloning_demo.cpp/: 命令行模式的图像克隆。

  • cloning_gui.cpp/: 图形界面交互的图像克隆。

  • connected_components.cpp/: 查找并绘制图像中的连通区域。

  • contours2.cpp/: 查找并绘制图像中的轮廓。

  • convexhull.cpp/: 查找并绘制由点的集合组成的凸包。

  • cout_mat.cpp/: 使用 cout 来输出各种格式化的 Mat 对象。

  • create_mask.cpp/: 演示如何创建黑白掩码图像。

  • dbt_face_detection.cpp/: 基于检测的人脸跟踪代码。

  • delaunay2.cpp/: 通过鼠标交互式地生成 Delaunay 三角形。

  • demhist.cpp/: 演示直方图的用法。

  • descriptor_extractor_matcher.cpp/: 演示 features2d 检测框架的用法。

  • detection_based_tracker_sample.cpp/: 与 dbt_face_detection.cpp 类似。

  • detector_descriptor_evaluation.cpp/: 评估各种特征检测器和描述子。

  • detector_descriptor_matcher_evaluation.cpp/: 评估各种特征检测器和匹配器。

  • dft.cpp/: 演示一幅图像的离散傅里叶变换。

  • distrans.cpp/: 显示边缘图像的距离变换值。

  • drawing.cpp/: 演示绘画和文字显示功能。

  • edge.cpp/: 演示 Canny 边缘检测。

  • em.cpp/: 对随机生成的数据点进行 EM 聚类。

  • fabmap_sample.cpp/: 演示 FAB-MAP 图像检索算法。

  • facerec_demo.cpp/: 人脸识别。

  • fback.cpp/: 实时的 Farneback 光流跟踪。

  • ffilldemo.cpp/: 演示 floodFill() 像素填充算法。

  • filestorage.cpp/: 演示序列化到外部文件，如yml、xml等。

  • fitellipse.cpp/: 将轮廓点匹配到椭圆。

  • freak_demo.cpp/: 演示 FREAK 特征值的用法。

  • gencolors.cpp/: 演示 generateColors()。

  • generic_descriptor_match.cpp/: 基于 SURF 的两幅图像间的匹配。

  • grabcut.cpp/: 演示 GrabCut 分割算法。

  • houghcircles.cpp/: 用霍夫算法检测圆。

  • houghlines.cpp/: 用霍夫算法检测直线。

  • hybridtrackingsample.cpp/: 混合跟踪算法（Hybrid Tracker）的演示。

  • image.cpp/: 来回转换 cv::Mat 和 IplImage。

  • image_alignment.cpp/: 演示 findTransformECC() 函数。

  • image_sequence.cpp/: 使用 VideoCapture 对象读取序列帧。

  • imagelist_creator.cpp/: 创建图像列表到 xml 文件。

  • inpaint.cpp/: 使用鼠标交互地进行图像修补。

  • intelperc_capture.cpp/: Intel 感知计算设备相关的函数。

  • kalman.cpp/: 使用卡尔曼滤波进行二维跟踪。

  • kmeans.cpp/: Kmeans 聚类算法的演示。

  • laplace.cpp/: 拉普拉斯边缘检测。

  • latentsvm_multidetect.cpp/: latentSVM 检测器。

  • letter_recog.cpp/: 字母识别。

  • linemod.cpp/: 基于 OpenNI 的体感设备应用。

  • lkdemo.cpp/: 演示Lukas-Kanade 光流法。

  • logpolar_bsm.cpp/: 演示 LogPolar 盲点模型。

  • lsd_lines.cpp/: LSD 线段检测。

  • matcher_simple.cpp/: SURF 特征检测。

  • matching_to_many_images.cpp/: 一对多的特征检测。

  • meanshift_segmentation.cpp/: 演示基于均值漂移的色彩分割函数——meanShiftSegmentation()。

  • minarea.cpp/: 寻找最小包围盒、包围圆。

  • morphology2.cpp/: 形态学图像处理。

  • npr_demo.cpp/: 演示各种非真实感渲染效果。

  • opencv_version.cpp/: 输出 OpenCV 库的版本号。

  • openni_capture.cpp/: 演示 OpenNI 相关的体感设备。

  • pca.cpp/: 基于 PCA 的人脸识别。

  • peopledetect.cpp/: 基于 cascade 或 hog 进行物体（人）检测。

  • phase_corr.cpp/: 演示 phaseCorrelate() 函数。

  • points_classifier.cpp/: 演示各种机器学习算法。

  • rgbdodometry.cpp/: 对深度传感器如 Kinect 的数据进行处理。

  • segment_objects.cpp/: 实时地在视频或相机画面中检测前景物体。

  • shape_example.cpp/: 比较并检索形状。

  • shape_transformation.cpp/: 用 SURF 特征值检测形状并进行变换。

  • squares.cpp/: 检测图像中的方块形状。

  • starter_imagelist.cpp/: 一个 “hello worl” 性质的入门范例。

  • starter_video.cpp/: 另一个 “hello worl” 性质的入门范例。

  • stereo_calib.cpp/: 双目视觉的标定。

  • stereo_match.cpp/: 计算左右视觉的图像的差异，生成点云文件。

  • stitching.cpp/: 演示图像拼接算法。

  • stitching_detailed.cpp/: 演示更多参数的图像拼接算法。

  • textdetection.cpp/: 实时场景中的文字定位与识别。

  • train_HOG.cpp/: 训练 HOG 分类器。

  • ufacedetect.cpp/: 人脸检测。

  • video_homography.cpp/: 使用 FAST 特征值来跟踪平面物体。

  • videostab.cpp/: 演示 videostab 中各个参数的用法。

  • watershed.cpp/: 演示著名的分水岭图像分割算法。

本书程序代码及彩图下载：
http://www.sciencep.com/downloads/
https://github.com/ITpublishing

<div id="Section8">勘误</div>

  • P249 页，倒数第 5-6 行，分别有两个“图像中”多余。

<div id="Section9">我的困惑</div>

  • 深拷贝 image.clone() 和 copyTo 有什么区别？不是一样的吗

<div id="Section10">下一步计划</div>

初写于 2015-04-05，未完待续。
首发于 Yimian Dai's Homepage，转载请注明出处。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,839评论 6赞 482
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,543评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 153,116评论 0赞 344
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,371评论 1赞 279
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,384评论 5赞 374
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,111评论 1赞 285
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,416评论 3赞 400
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,053评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,558评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2赞 325
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1赞 334
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,756评论 4赞 324
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,324评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1赞 262
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2赞 355
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2赞 345

推荐阅读更多精彩内容