缝隙检测算法

问题分析：

这个问题类似于边缘提取，我们想到经典的canny算子，然而canny算子不保证边缘连续，而且无法给出直线划分，但却给我们一个分析问题的方向。以下思路是在canny算子的基础上进行的。对于比较直，但长度粗细不定，有些地方非常微弱，断断续续的直线，可能是个好方向，此处记录一下。

1、计算各处的梯度向量

图像梯度即求导数，导数能反映出图像变化最大的地方，图像变化最大的地方也就是图像的边缘。

sobel算子与scharr算子

在sobel算子不能明显反映图像边缘时就换用scharr算子

$sobel_x= \begin{bmatrix}-1&0&1\\-2&0&2\\-1&0&1\end{bmatrix}$
$sobel_y= \begin{bmatrix}-1&-2&-1\\0&0&0\\1&2&1\end{bmatrix}$
$scharr_x= \begin{bmatrix}-3&0&3\\-10&0&1 0\\-3&0&3\end{bmatrix}$
$scharr_y= \begin{bmatrix}-3& -10&-3\\0&0&0\\3&10&3\end{bmatrix}$

import cv2 as cv

def sobel_image(img):
    grad_x = cv.Sobel(img, cv.CV_32F, 1, 0)#x方向一阶导数
    #图像  图像深度，支持src.depth()和ddepth的组合  x方向上差分阶数 y方向差分阶数
    grad_y = cv.Sobel(img, cv.CV_32F, 0, 1)#y方向一阶导数
    #print(grad_x)
    gradx = cv.convertScaleAbs(grad_x)#可通过print查看区别
    #线性输入数组转化为无符号（绝对值）8为整形
    #print(gradx)
    grady = cv.convertScaleAbs(grad_y)
    cv.imshow("x", gradx)
    cv.imshow("y", grady)
    gradxy = cv.addWeighted(grad_x, 0.5, grad_y, 0.5, 0)#将两幅图像整合
    #第一个数组  第一个数组的权重  第二个数组 第二个数组的权重 gamma
    #dst = src1[I]*alpha+ src2[I]*beta + gamma;输出图像式子
    cv.imshow("x&&y", gradxy)

img = cv.imread("d://work//1.jpg")
sobel_image(img)
cv.waitKey(0)
cv.destroyAllWindows()

sobel到scharr改变求导方式即可

def scharr_image(image):
    grad_x = cv.Scharr(image, cv.CV_32F, 1, 0)
    grad_y = cv.Scharr(image, cv.CV_32F, 0, 1)
    gradx = cv.convertScaleAbs(grad_x)
    grady = cv.convertScaleAbs(grad_y)
    cv.imshow("x", grad_x)
    cv.imshow("y", grad_y)
    gradxy = cv.addWeighted(gradx, 0.5, grady, 0.5, 0)
    cv.imshow("x&y_s", gradxy)

相比sobel算子把变化描述地更明显，再介绍一种lpls算子。lpls 算子有四领域和8领域的，内置函数默认是四领域

def lpls_image(image):
    dst = cv.Laplacian(image, cv.CV_32F)
    lpls = cv.convertScaleAbs(dst)
    cv.imshow("lpls", lpls)

def lpls_image(image):
    #dst = cv.Laplacian(image, cv.CV_32F)
    #lpls = cv.convertScaleAbs(dst)
    dst = np.array([[1, 1, 1], [1, -8, 1], [1, 1, 1]])
    lpls = cv.filter2D(image, cv.CV_32F, dst)
    lpls = cv.convertScaleAbs(lpls)
    cv.imshow("lpls", lpls)

2、梯度方向上进行非最大值抑制

指寻找像素点局部最大值，将非极大值点所对应的灰度值置为0，这样可以剔除掉一大部分非边缘的点。要进行非极大值抑制，就首先要确定像素点C的灰度值在其8值邻域内是否为最大。图中蓝色的线条方向为C点的梯度方向，这样就可以确定其局部的最大值肯定分布在这条线上，也即出了C点外，梯度方向的交点dTmp1和dTmp2这两个点的值也可能会是局部最大值。因此，判断C点灰度与这两个点灰度大小即可判断C点是否为其邻域内的局部最大灰度点。如果经过判断，C点灰度值小于这两个点中的任一个，那就说明C点不是局部极大值，那么则可以排除C点为边缘。这就是非极大值抑制的工作原理。

image

在理解的过程中需要注意以下两点：

非最大抑制是回答这样一个问题：“当前的梯度值在梯度方向上是一个局部最大值吗？“ 所以,要把当前位置的梯度值与梯度方向上两侧的梯度值进行比较。
梯度方向垂直于边缘方向。但实际上，我们只能得到C点邻域的8个点的值，而dTmp1和dTmp2并不在其中，要得到这两个值就需要对该两个点两端的已知灰度进行线性插值，也即根据图1中的g1和g2对dTmp1进行插值，根据g3和g4对dTmp2进行插值，这要用到其梯度方向，这是Canny算法中要求解梯度方向矩阵 $\theta$ 的原因。

完成非极大值抑制后，会得到一个二值图像，非边缘的点灰度值均为0，可能为边缘的局部灰度极大值点可设置其灰度为128。检测结果还是包含了很多由噪声及其他原因造成的假边缘。因此还需要进一步的处理。

3. 边缘追溯

我们对图像进行边缘追溯，canny算子除了给我们提供了边缘之外，其实还有丰富的局部梯度信息，而我们提取的缝隙都是直线，因而梯度信息是非常宝贵的。

For每个图像中的点:

        If 当前点 == 0：continue

        While 两端还活着:

                试图沿着梯度的垂直方向生长，找下一个点（如果没找到，生命值-1）

                找到后判别目标点的梯度向量是否与当前集合平均一致

                一致则合并，生命恢复，计算新的平均梯度，不一致则生命值-1

                生命减到1，停止生长

优势：考虑了梯度方向问题，可以很好的排除非自己所属的边缘

加入生命值的概念，可以在断的时候，继续沿着梯度垂直方向生长，得以延续。

4. 直线性判别

所有直线都生长结束后，对每个轮廓进行特征值分解，用较小的特征值进行线性度判定。

5. 线段配对

1）两个线段长度相似

2）两个线段质心接近

3）两个线段梯度向量相对立

总结：算法基于canny算子，在极大值抑制后，没有进行双阈值，而是保留梯度向量进行线段追溯，追溯过程中加入生命值概念，让直线延续性得以保证，而有梯度和生长方向概念，也不会混入其他点，得到纯净点后进行直线度检验，最后对所有提取出来的直线进行配对，得到结果。

附Imagepy github链接
https://github.com/yxdragon/imagepy.git