定义
选择性搜索是在对象检测中使用的区域提议算法。它的设计速度很快，召回率很高。它基于基于颜色，纹理，大小和形状兼容性的相似区域的分层分组计算。
操作步骤
- 首先使用 Felzenszwalb 和 Huttenlocher 基于图像的分割方法
- 对分割的图像进行超像素的合并，合并彼此相似的相邻区域 ，合并的规则包括颜色相似度、纹理相似度、尺寸相似度、形状相似性等
自下而上的方法创建了从较小细分到较大细分的区域建议 ，如下图所示
image
合并规则
- 颜色相似度
计算图像每个通道的 25 个 bins 的颜色直方图，并将所有通道的直方图连接起来，得到 25×3 = 75 维的颜色描述符（归一化）。
image
image
image
image
- 纹理相似度
通过为每个通道在 8 个方向上提取高斯导数来计算纹理特征。对于每个方向和每个颜色通道，都将计算 10 bin 直方图，从而生成 10x8x3 = 240 维特征描述符。
image
以上的公式与颜色相似度的计算公式指代的意义差不多，都是计算每块区域的纹理特征，再比较不同区域的纹理相似度
- 尺寸相似度
大小相似性鼓励较小的区域尽早合并。它可以确保在图像的所有部分形成所有尺度的区域建议。如果不考虑这种相似性度量，则单个区域将使所有较小的相邻区域一一吞并，因此仅在该位置会生成多个尺度的区域建议。大小相似度定义为
image
上面的公式表示，两个区域越小，其相似度越大，越接近 1。 size(im) 计算的是图片的像素个数
- 形状相容性
image
形状兼容性可衡量两个区域相互配合的程度，如果匹配则进行合并，如果它们接触都没有，则不合并
- 最终相似度
最终相似度就是在上面四个相似度的基础上添加一个权重来计算最终相似度，公式如下：
image
代码实现
先上效果：
image
在 OpenCV 中，提供了一个选择性搜索的接口供我们使用，这个模块是在 OpenCV 扩展模块包opencv-contrib-python 里面
首先需要进行安装 pip install opencv-contrib-python
所有代码都进行了注释，这里就不在赘述
#!/usr/bin/env python
'''
安装依赖
!pip install opencv-python
!pip install opencv-contrib-python
Usage:
./ssearch.py input_image (f|q)
f=fast, q=quality
Use "l" to display less rects, 'm' to display more rects, "q" to quit.
'''
import sys
import cv2
if __name__ == '__main__':
# If image path and f/q is not passed as command
# line arguments, quit and display help message
# speed-up using multithreads
cv2.setUseOptimized(True);
cv2.setNumThreads(4) # 设置线程数
# read image
path = "F:/jupyter/Dive-into-DL-PyTorch/docs/img/cat1.jpg"
im = cv2.imread(path)
# resize image 重置大小
newHeight = 2000
newWidth = int(im.shape[1]*200/im.shape[0])
# im = cv2.resize(im, (newWidth, newHeight))
# create Selective Search Segmentation Object using default parameters
# 使用默认参数创建一个选择性搜索的分割对象
ss = cv2.ximgproc.segmentation.createSelectiveSearchSegmentation()
# set input image on which we will run segmentation
ss.setBaseImage(im)
model = "f" # 快速模式 f 还是 高召回率模式 q
# 三种模式，参考
# https://docs.opencv.org/3.4/d6/d6d/classcv_1_1ximgproc_1_1segmentation_1_1SelectiveSearchSegmentation.html
# Switch to fast but low recall Selective Search method
# 快速模式，但是意味着低召回率
if (model == 'f'):
ss.switchToSelectiveSearchFast()
# Switch to high recall but slow Selective Search method
# 高召回率模式，但是速度较慢
elif (model == 'q'):
ss.switchToSelectiveSearchQuality()
elif (model == "ToString"):
ss.switchToSingleStrategy()
# if argument is neither f nor q print help message
else:
print("plase set model!")
# run selective search segmentation on input image
# 运行选择性搜索算法，返回他们的可能边框
rects = ss.process()
print('Total Number of Region Proposals: {}'.format(len(rects)))
# number of region proposals to show
numShowRects = 10
# increment to increase/decrease total number of reason proposals to be shown
increment = 20
while True:
# create a copy of original image
# 复制一份图片
imOut = im.copy()
# itereate over all the region proposals
for i, rect in enumerate(rects):
# draw rectangle for region proposal till numShowRects
# 绘制边框
if (i < numShowRects):
x, y, w, h = rect
cv2.rectangle(imOut, (x, y), (x+w, y+h), (0, 255, 0), 1, cv2.LINE_AA)
else:
break
# show output
cv2.imshow("Output", imOut)
cv2.imwrite("Output.jpg", imOut)
# record key press
k = cv2.waitKey(0) & 0xFF
# m is pressed m 键增加要显示的矩形框数
if k == 109:
# increase total number of rectangles to show by increment
numShowRects += increment
# l is pressed l 键减少要显示的矩形框数
elif k == 108 and numShowRects > increment:
# decrease total number of rectangles to show by increment
numShowRects -= increment
# q is pressed q 键退出
elif k == 113:
break
# close image show window
cv2.destroyAllWindows()
参考：
