转自：http://www.jianshu.com/p/ac4c4536ca3e#
一、前言
身份证识别，又称OCR技术。OCR技术是光学字符识别的缩写，是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。
因为项目需要，所以这些天查阅了相关资料，想在网上看看有没有大神封装的现成的demo可以用。但是无果，网上关于ocr这一块的资料很少，比较靠谱的都是要收费的，而且价格也不便宜。但是在天朝，收费感觉心里不爽，所以就决定自己研究一番。
先上一个最终实现的效果（如果mac不是retain屏幕的，分辨率会有影响，需要在真机上调试）
最终实现的效果.gif
二、需要用到的技术
搜了很多资料，发现要进行身份证号码的识别，需要用到以下几种技术:
图像处理技术
包括灰度化处理，二值化，腐蚀，轮廊检测等等。
灰度化处理
二值化
腐蚀
轮廊检测
文字识别技术
通过识别图像，将图像信息转化为可以使用的计算机输入技术。比如下面这张包含一串数字的图片，通过ocr识别技术可以将图片中包含的数字信息以字符串的方式输出。
包含数字的图片.png
三、开源框架OpenCV和TesseractOCRiOS
OpenCV（完成图像处理技术）
OpenCV是一个开源的跨平台计算机视觉和机器学习库，通俗点的说，就是他给计算机提供了一双眼睛，一双可以从图片中获取信息的眼镜，从而完成人脸识别、身份证识别、去红眼、追踪移动物体等等的图像相关的功能。opencv官网
TesseractOCRiOS（完成文字识别技术）
Tesseract是目前可用的最准确的开源OCR引擎，可以读取各种格式的图片并将他们转换成各种语言文本。而TesseractOCRiOS则是针对iOS平台封装的Tesseract引擎库。
四、实战演示
创建一个iOS项目
用CocoPods导入上面两个库
由于OpenCV库文件比较大，所以时间会稍微久一点，耐心等待就是。
podfile文件.png
导入完成之后运行项目，会发现报如下错误
Bitode报错.png
由于导入的库不支持Bitcode机制，需要关掉，在工程->TARGETS->Build Setting-> Enable Bitcode设置为NO就ok。
关掉Bitcode.png
导入TesseractOCRiOS需要的语言包
TesseractOCRiOS库中没有自带的语言包，需要我们自己手动导入，我们这里直接到tesseract-ocr网站，tessdata即是我们需要用到的语言包。下载下来的语言包有400多兆。这里我们只需要用到英语语言包，所以就只导入eng.traineddata就ok，其他的都删掉。
导入语言包种需要注意几点：
语言包需要放在tessdata目录下。TesseractOCRiOS中查找语言包是在tessdata目录下进行查找的，所以我们不能单独把eng.traineddata导入项目中，而需要放在tessdata目录下导入项目中。
将tessdata导入xcode项目，需要勾选Create folder refrences。上面已经提到了语言包需要放在tessdata目录下，所以导入文件到xcode的时候需要创建文件夹的形式，而不是创建组的形式。如下图：
导入tessdata文件夹的方式.png
创建一个RecogizeCardManager用来管理身份证识别相关的代码。
由于OpenCV和TesseractOCRiOS库都是基于c++编写的，所以需要把RecogizeCardManager.m后缀的.m改成.mm
RecogizeCardManager.png
RecogizeCardManager中的代码
.h文件
import <Foundation/Foundation.h>@class UIImage;typedef void (^CompleateBlock)(NSString text);@interface RecogizeCardManager : NSObject/** 初始化一个单例** @return 返回一个RecogizeCardManager的实例对象/+ (instancetype)recognizeCardManager;/** 根据身份证照片得到身份证号码** @param cardImage 传入的身份证照片* @param compleate 识别完成后的回调*/- (void)recognizeCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate;@end
.m文件
import "RecogizeCardManager.h"#import <opencv2/opencv.hpp>#import <opencv2/imgproc/types_c.h>#import <opencv2/imgcodecs/ios.h>#import <TesseractOCR/TesseractOCR.h>@implementation RecogizeCardManager+ (instancetype)recognizeCardManager { static RecogizeCardManager *recognizeCardManager = nil; static dispatch_once_t onceToken; dispatch_once(&onceToken, ^{ recognizeCardManager = [[RecogizeCardManager alloc] init]; }); return recognizeCardManager;}- (void)recognizeCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate { //扫描身份证图片，并进行预处理，定位号码区域图片并返回 UIImage *numberImage = [self opencvScanCard:cardImage]; if (numberImage == nil) { compleate(nil); } //利用TesseractOCR识别文字 [self tesseractRecognizeImage:numberImage compleate:^(NSString *numbaerText) { compleate(numbaerText); }];}//扫描身份证图片，并进行预处理，定位号码区域图片并返回- (UIImage *)opencvScanCard:(UIImage )image { //将UIImage转换成Mat cv::Mat resultImage; UIImageToMat(image, resultImage); //转为灰度图 cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY); //利用阈值二值化 cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY); //腐蚀，填充（腐蚀是让黑色点变大） cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26)); cv::erode(resultImage, resultImage, erodeElement); //轮廊检测 std::vector<std::vector<cv::Point>> contours;//定义一个容器来存储所有检测到的轮廊 cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0)); //取出身份证号码区域 std::vector<cv::Rect> rects; cv::Rect numberRect = cv::Rect(0,0,0,0); std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin(); for ( ; itContours != contours.end(); ++itContours) { cv::Rect rect = cv::boundingRect(itContours); rects.push_back(rect); //算法原理 if (rect.width > numberRect.width && rect.width > rect.height * 5) { numberRect = rect; } } //身份证号码定位失败 if (numberRect.width == 0 || numberRect.height == 0) { return nil; } //定位成功成功，去原图截取身份证号码区域，并转换成灰度图、进行二值化处理 cv::Mat matImage; UIImageToMat(image, matImage); resultImage = matImage(numberRect); cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY); cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY); //将Mat转换成UIImage UIImage *numberImage = MatToUIImage(resultImage); return numberImage;}//利用TesseractOCR识别文字- (void)tesseractRecognizeImage:(UIImage *)image compleate:(CompleateBlock)compleate { dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{ G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"]; tesseract.image = [image g8_blackAndWhite]; tesseract.image = image; // Start the recognition [tesseract recognize]; //执行回调 compleate(tesseract.recognizedText); });}
RecognizeCardViewController代码
故事版布局界面
故事版布局界面.png
.m文件
import "RecognizeCardViewController.h"#import "RecogizeCardManager.h"@interface RecognizeCardViewController ()<UINavigationControllerDelegate, UIImagePickerControllerDelegate>{ UIImagePickerController *imgagePickController;}@property (weak, nonatomic) IBOutlet UIImageView *imgView;@property (weak, nonatomic) IBOutlet UILabel *textLabel;- (IBAction)cameraAction:(id)sender;- (IBAction)photoAction:(id)sender;@end@implementation RecognizeCardViewController- (void)viewDidLoad { [super viewDidLoad]; self.imgView.contentMode = UIViewContentModeScaleAspectFit; imgagePickController = [[UIImagePickerController alloc] init]; imgagePickController.delegate = self; imgagePickController.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal; imgagePickController.allowsEditing = YES;}- (void)didReceiveMemoryWarning { [super didReceiveMemoryWarning]; // Dispose of any resources that can be recreated.}//拍照- (IBAction)cameraAction:(id)sender { //判断是否可以打开照相机 if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) { imgagePickController.sourceType = UIImagePickerControllerSourceTypeCamera; //设置摄像头模式（拍照，录制视频）为拍照 imgagePickController.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto; [self presentViewController:imgagePickController animated:YES completion:nil]; } else { UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"设备不能打开相机" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil]; [alert show]; }}//相册- (IBAction)photoAction:(id)sender { imgagePickController.sourceType = UIImagePickerControllerSourceTypePhotoLibrary; [self presentViewController:imgagePickController animated:YES completion:nil];}#pragma mark - UIImagePickerControllerDelegate//适用获取所有媒体资源，只需判断资源类型- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{ NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType]; UIImage *srcImage = nil; //判断资源类型 if ([mediaType isEqualToString:@"public.image"]){ srcImage = info[UIImagePickerControllerEditedImage]; self.imgView.image = srcImage; //识别身份证 self.textLabel.text = @"图片插入成功，正在识别中..."; [[RecogizeCardManager recognizeCardManager] recognizeCardWithImage:srcImage compleate:^(NSString *text) { if (text != nil) { self.textLabel.text = [NSString stringWithFormat:@"识别结果：%@",text]; }else { self.textLabel.text = @"请选择照片"; UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"照片识别失败，请选择清晰、没有复杂背景的身份证照片重试！" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil]; [alert show]; } }]; } [self dismissViewControllerAnimated:YES completion:nil];}//进入拍摄页面点击取消按钮- (void)imagePickerControllerDidCancel:(UIImagePickerController *)picker { [self dismissViewControllerAnimated:YES completion:nil];}@end
总结
通过上面的实验，该程序对身份证识别的正确率几乎可以达到90%，剩下的10%主要取决于图像的预处理，预处理程序是整个识别系统的关键所在。该系统的原理同样也适用于获取身份证上其他的信息，也可以应用于银行卡、车牌号等的识别。最后针对实现的效果进行一步总结。
识别的正确率
主要取决于腐蚀、取出身份证号码区域（轮廊提取）的算法这几个关键点。腐蚀：
腐蚀的参数很重要，关于腐蚀的一些介绍，可以参考这篇文章 腐蚀与膨胀(Eroding and Dilating)
取出身份证号码区域的算法（轮廊提取）：
所有的处理都是为了在图片中定位到身份证号码的区域，轮廊提取就是这样一个操作。筛选轮廊图的算法很重要但是也是个难点。我从这篇博客iOS身份证号码识别中找到了思路。要提取身份证号码区域的轮廊，算法的原理就是该轮廊的宽度是所有中最宽的，且宽度的长度必须大于高度的5倍。不过这个算法还是存在不少问题。有的时候可能图片背景比较复杂会影响到轮廊的检测，基于这个问题：一方面可以通过对图片的预处理来进行优化，减少对检测身份证号码区域的干扰
第二个方面就是优化算法。
识别速度
使用TesseractOCRiOS对比较清晰的文字进行识别速度是比较快的，我试过用一张未经处理的写着数字的图片来处理，识别速度小于5s。但经过二值图处理之后识别的速度就降低了，我认为可以对二值化处理后的图片进一步处理，比如对二值图进行细化描出骨架，然后在对骨架做均匀的膨胀处理，这样得到的身份证号码可能会清晰很多。
这里贴上几个关于OpenCV的学习网站OpenCV官方学习文档OpenCV入门指南OPEN CV for iOS
该项目已经开源在github RecognizeCard 上了，如果喜欢可以点个赞。有什么问题可以留言，我也是第一次接触，一起进步，大家加油。
文／wythetan（简书作者）原文链接：http://www.jianshu.com/p/ac4c4536ca3e#著作权归作者所有，转载请联系作者获得授权，并标注“简书作者”。
