彩色模型
数字图像处理中常用的采用模型是RGB(红,绿,蓝)模型和HSV(色调,饱和度,亮度),RGB广泛应用于彩色监视器和彩色视频摄像机,我们平时的图片一般都是RGB模型。而HSV模型更符合人描述和解释颜色的方式,HSV的彩色描述对人来说是自然且非常直观的。
RGB就是指Red,Green和Blue,一副图像由这三个channel(通道)构成;
Gray就是只有灰度值一个channel;
HSV即Hue(色调),Saturation(饱和度)和Value(亮度)三个channel。
难点
如果采用RGB进行颜色通道分离,然后提取红色,就会出现阀值很难控制,图像清晰度高低直接影响识别效果,例如下图(图片来源互联网):
我们用标准方法进行公章分离:
import cv2
import numpy as np
import matplotlib.pyplot as plt
image=cv2.imread(r"gz.jpg",cv2.IMREAD_COLOR) # 以BGR色彩读取图片
cols,rows,_=image.shape # 获取图片高宽
B_channel,G_channel,R_channel=cv2.split(image) # 注意cv2.split()返回通道顺序
#红色通道阈值(调节好函数阈值为160时效果最好,太大一片白,太小干扰点太多)
_,RedThresh = cv2.threshold(R_channel,160,255,cv2.THRESH_BINARY)
#显示效果
cv2.imwrite('RedThresh.jpg',RedThresh)
cv2.imshow("RedThresh",RedThresh)
cv2.waitKey(0)
cv2.destroyAllWindows()
如下图片,有两个问题,一是上方的红色被分离,但是也许这些是需要的,二是这个文章文字都有被删除一些像素,这样会极大影响后续ocr识别效果,其实这个例子效果是好的了,有的更差,在实际效果中因为_,RedThresh = cv2.threshold(R_channel,160,255,cv2.THRESH_BINARY)阈值是固定,很难控制不同文件的效果。工程化使用这样完全不行。
我们再来看看,如果使用HSV是否有更好的效果?
import cv2
import numpy as np
from numpy import mean
image=cv2.imread(r"gz.jpg")
np.set_printoptions(threshold=np.inf)
hue_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
low_range = np.array([150, 103, 100])
high_range = np.array([180, 255, 255])
th = cv2.inRange(hue_image, low_range, high_range)
index1 = th == 255
img = np.zeros(image.shape, np.uint8)
img[:, :] = (255,255,255)
img[index1] = image[index1]#(0,0,255)
cv2.imshow('enhanced',img)
cv2.imwrite("img.jpg",img)
cv2.waitKey(0)
一片空白后中间一点红。公章的位置清晰可见,但是过于模糊,后续我们用图像加减也无法完美分离掉红色公章。
解决方法:
HSV虽然无法清晰分割出公章,但是提取红色公章的位置确是非常准确的,虽然显示红色不完善而且模糊,但是它的好处是不会把非红色内容显示出来。
我想到的解决方法是,采用HSV找出红色公章的位置,然后反色处理,膨胀多次把这一片区域找出来并分割再处理,然后再采用RGB处理。
直接上代码:
import cv2
import numpy as np
from numpy import mean
image=cv2.imread(r"gz.jpg")
np.set_printoptions(threshold=np.inf)
hue_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
low_range = np.array([150, 103, 100])
high_range = np.array([180, 255, 255])
th = cv2.inRange(hue_image, low_range, high_range)
index1 = th == 255
img = np.zeros(image.shape, np.uint8)
img[:, :] = (255,255,255)
img[index1] = image[index1]#(0,0,255)
gray=cv2.cvtColor(img,cv2.COLOR_RGB2GRAY)
kernel = np.ones((5, 5), np.uint8)
gray = cv2.dilate(~gray, kernel, iterations=4)#反色,因为其他位置都是0,可以任意多次膨胀而不出问题,这就是高明之处
contours, hierarchy = cv2.findContours(gray, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
tmp3 = image.copy()
def cnt_area(cnt):
area = cv2.contourArea(cnt)
return area
contours.sort(key = cnt_area, reverse=True)
cnt = contours[0]
x, y, w, h = cv2.boundingRect(cnt)
red=image[y:y+h,x-10:x+w+10]#因为图片特性左右加了10个像素,不加也是可以的,只是为了方便演示
cv2.imwrite("red.jpg",red)
b,g,r=cv2.split(red)
redcopy=red.copy()
ret,th2 = cv2.threshold(r,160,255,cv2.THRESH_BINARY)
red[:,:,0] = th2
red[:,:,1] = th2
red[:,:,2] = th2
tmp3[y:y+h,x-10:x+w+10]=red#再把处理后的图片放回去
cv2.imwrite("t.jpg",tmp3)
cv2.imwrite("gray.jpg",gray)
cv2.waitKey(0)
我们看看反色以后膨胀效果,清晰可见公章位置
我们再看看红色公章提取出来的内容
现在我们只需要对这个图片采用RGB方法进行处理就可以了,而且图片很小处理很快,也可以写一个自动循环ret,th2 = cv2.threshold(r,160,255,cv2.THRESH_BINARY) 160的阀值,直到提取到满意效果的文字才停止。
最后把图片返回原来的位置,看看效果
这样的文字做OCR就没有干扰了,完美。
总结一下:
HSV定位、RGB红色分离、放回原位置