最近,公司的项目中用到了图像识别技术,通过拍照来识别身份证号,之前没有做过,经过一番的研究,总算是搞定了,下面就将整个的实现过程分享一下:
图像识别主要用到了两个第三方的框架:OpenCV和TesseractOCR,OpenCV用来做图像处理,定位到身份证号码的区域,TesseractOCR则是对定位到的区域内的内容进行识别。
框架的导入
1、OpenCv
OpenCV的导入比较简单,首先从OpenCV官网上下载iOS对应的framework,然后将其直接拖入到工程中即可。
OpenCV是一套C++的框架,所以在使用到OpenCV的类中要将.m文件的后缀改为.mm文件。如果在.pch文件中导入头文件的话,需要将头文件放到下面的代码中,表示只有C++文件才会编译:
#ifdef __cplusplus
#endif
然后倒入一下三个头文件
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
2、TesseractOCR
TesseractOCR是谷歌开源的一个OCR引擎,从github上下载Tesseract的工程和语言包(tessdata),默认TesseractOCR使用的是英文包(名称:eng.traineddata),如果要识别中文,还需要将中文包(名称:chi_sim.traineddata)导入到tessdata中(一个简单的方法是将中文包导入到tessdata中,并将名称改为eng.traineddata,这样其他的地方就不用做改变了)。
注意:在将tessdata文件夹导入到工程中时,要选择Create folder refrences,如图:
获取图片
要识别图像,首先得能获取图像,可以通过拍照,也可以从相册中获取,下面是我为身份证识别做的一下准备工作:
在控制器中添加一个label(显示结果)、一个imageView(显示图像)、两个button(点击分别拍照和进入相册),添加UIImagePickerController的全局变量,并初始化。
@interface ViewController ()<UINavigationControllerDelegate, UIImagePickerControllerDelegate>
{
UIImagePickerController *_imagePickerVC;
}
@property (weak, nonatomic) IBOutlet UILabel *resultLabel;
@property (weak, nonatomic) IBOutlet UIImageView *cardImageView;
@end
@implementation ViewController
- (void)viewDidLoad {
[super viewDidLoad];
_imagePickerVC = [[UIImagePickerController alloc] init];
_imagePickerVC.delegate = self;
_imagePickerVC.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal;
_imagePickerVC.allowsEditing = YES;
}
- (IBAction)cameraAction:(id)sender {
//判断是否可以打开照相机
if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) {
_imagePickerVC.sourceType = UIImagePickerControllerSourceTypeCamera;
//设置摄像头模式(拍照,录制视频)为拍照
_imagePickerVC.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto;
[self presentViewController:_imagePickerVC animated:YES completion:^{
}];
}
}
- (IBAction)photoLibaryAction:(id)sender {
_imagePickerVC.sourceType = UIImagePickerControllerSourceTypePhotoLibrary;
[self presentViewController:_imagePickerVC animated:YES completion:nil];
}
#pragma mark - UIImagePickerControllerDelegate
- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{
UIImage *srcImage = nil;
NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType];
//判断资源类型
if ([mediaType isEqualToString:@"public.image"]){
srcImage = info[UIImagePickerControllerEditedImage];
self.cardImageView.image = srcImage;//得到图片并显示
}
[_imagePickerVC dismissViewControllerAnimated:YES completion:^{
}];
}
图像处理和识别
接下来,就说一下图像处理的过程,得到最适合的识别区域:
首先,在工程中创建一个图像识别处理的工具类:RecognizeUtil,在.h文件中声明如下方法,并在.m中实现。
RecognizeUtil工具类中的结构基本如下:
#import <Foundation/Foundation.h>
@class UIImage;
@interface RecognizeUtil : NSObject
/*
单例
*/
+ (instancetype)recognizeUtil;
/*
身份证号码识别
*/
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *resultImage))complete;
@end
#import "RecognizeUtil.h"
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
#import "TesseractOCRiOS/TesseractOCR/TesseractOCR.h"
@implementation RecognizeUtil
static RecognizeUtil *recognizeUtil = nil;
+ (instancetype)recognizeUtil {
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
recognizeUtil = [[RecognizeUtil alloc] init];
});
return recognizeCardManager;
}
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum))complete{
UIImage *handledImage = [self opencvHandleImage:image];
[self tesseractRecognizeImage:handledImage complete:^(NSString *resultNum,UIImage *image) {
complete(resultNum, image);
}];
}
/*
OpenCV 图像处理 返回处理过后的图片
*/
- (UIImage *)opencvHandleImage:(UIImage *)image{
return nil;
}
/*
tesseract 图像识别 block回调识别结果
*/
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *resultImage))complete;
complete(resultNum,resultImage);
}
@end
下面到了最关键的环节,就是图像处理和识别的具体方法:
1、处理
opencvHandleImage:方法实现
/*
OpenCV 图像处理 返回处理过后的图片
*/
- (UIImage *)opencvHandleImage:(UIImage *)image{
//将UIImage转换成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//转为灰度图
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//阈值二值化
cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY);
//腐蚀,填充(腐蚀是让黑色点变大)
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
//定义一个容器来存储所有检测到的轮廓
std::vector<std::vector<cv::Point>> contours;
cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
//取出身份证号码区域
std::vector<cv::Rect> rects;
cv::Rect numberRect = cv::Rect(0,0,0,0);
std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();
for ( ; itContours != contours.end(); ++itContours) {
cv::Rect rect = cv::boundingRect(*itContours);
rects.push_back(rect);//push_back 在容器尾部插入一个数据
//算法原理(宽度最大,并且宽度大于高度的5倍)
if (rect.width > numberRect.width && rect.width > rect.height * 5) {
numberRect = rect;
}
}
//定位失败
if (numberRect.width == 0 || numberRect.height == 0) {
return nil;
}
//得到身份证号的区域,去原图中后去该区域,并转成二值图
cv::Mat matImage;
UIImageToMat(image, matImage);
resultImage = matImage(numberRect);
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
//将Mat转换成UIImage
UIImage *numberImage = MatToUIImage(resultImage);
return numberImage;
}
上面主要利用到了OpenCV中的一些简单的处理图像的方法:灰度处理、二值化、腐蚀、边缘检测等等。
灰度处理和二值化的作用是将图像变为只有黑白两种颜色的二值图;
腐蚀的作用是将黑色的区域 扩大,这样,相邻的黑色区域就会连在一起,便于将号码的区域隔离出来;
边缘检测的作用就是获取各个黑色区域的值
最后通过比较各个黑色区域的特点,就可以将号码的区域分离出来,得到号码区域的值,再从原图中截取号码区域即可。
在处理之前,先要将UIImage类型转换为OpenCV中的图像类型:Mat
UIImageToMat()
2、识别
识别就比较简单了,代码基本上都是从Demo中拷贝的,选择好语言,将图片作为参数传入,就可以返回识别的内容。
/*
tesseract 图像识别 block回调识别结果
*/
- (void)tesseractRecognizeImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *image))complete{
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"];
tesseract.image = [image g8_blackAndWhite];
tesseract.image = image;
// Start the recognition
[tesseract recognize];
dispatch_async(dispatch_get_main_queue(), ^{
//执行回调
complete(tesseract.recognizedText,image);
});
});
}
总结:
关于图像识别,最关键的应该就是处理的环节了,在以上的代码中,所做的处理比较简单,所以对照片的要求比较高,拍照时,身份证的背景为纯白色,识别的几率为更高。
关于OpenCV,其中还有好多对图像处理的方法,使用OpenCV对图像进行最合适的预处理,可以很大程度的提高识别概率。