iOS 基于AVFoundation框架搭建人脸识别,并获取识别到的人脸图片

这段时间抽空做了下人脸识别功能,人脸识别有很多第三方的SDK,例如:Face++,腾讯、讯飞、opencv等,但其实iOS 原生已经支持人脸识别,网上也有很多人脸识别的demo,但基本检测到人脸后就没后续操作了,因此这里分享下识别到人脸后获取识别到的人脸图片。

识别的原理是:客户端检测到人脸,然后将识别到的人脸照片请求后台接口,让后台做人脸校验,成功后返回相关信息!

下面给出基于AVFoundation框架搭建人脸检测功能代码:
一、导入 <AVFoundation/AVFoundation.h>框架,并设置相关代理和属性
#import <AVFoundation/AVFoundation.h>
#define kWidth [UIScreen mainScreen].bounds.size.width
#define kHeight [UIScreen mainScreen].bounds.size.height
#define WS(weakSelf) __weak __typeof(&*self) weakSelf = self

@interface FaceViewController ()<AVCaptureVideoDataOutputSampleBufferDelegate>
@property (nonatomic,strong) AVCaptureSession *session;
@property (nonatomic,strong) AVCaptureVideoPreviewLayer *previewLayer;
@property (nonatomic,strong) AVCaptureDeviceInput*input;
@property (nonatomic,strong) AVCaptureVideoDataOutput *videoOutput;
@property(nonatomic,strong) UIImageView *faceImgView;
@property(nonatomic,assign)BOOL isFirst;

@end
二、界面初始化

- (void)viewDidLoad {
    [super viewDidLoad];
    self.title = @"人脸识别";
    
    _isFirst = YES;
    [self deviceInit];
    [self initUI];
}


-(void)initUI{
    _faceImgView = [[UIImageView alloc] initWithFrame:CGRectMake(kWidth - 120 , 64, 120, 120)];
    _faceImgView.backgroundColor = [UIColor blueColor];
    [self.view addSubview:_faceImgView];
    
    
    UILabel *titleLab = [[UILabel alloc] initWithFrame:CGRectMake(52, 100, kWidth - 108, 18)];
    titleLab.text = @"请对准脸部拍摄  提高认证成功率";
    titleLab.textAlignment = NSTextAlignmentCenter;
    titleLab.textColor = [UIColor redColor];
    titleLab.font = [UIFont systemFontOfSize:17];
    [self.view addSubview:titleLab];
}

三、相机设备初始化

-(void)deviceInit{
    // 获取输入设备(摄像头)
    NSArray *devices = [AVCaptureDeviceDiscoverySession discoverySessionWithDeviceTypes:@[AVCaptureDeviceTypeBuiltInWideAngleCamera] mediaType:AVMediaTypeVideo position:AVCaptureDevicePositionBack].devices;
    AVCaptureDevice *deviceF = devices[0];
    
    // 根据输入设备创建输入对象
    self.input = [[AVCaptureDeviceInput alloc] initWithDevice:deviceF error:nil];
    
    // 设置代理监听输出对象输出的数据
    self.videoOutput = [[AVCaptureVideoDataOutput alloc] init];
    
    // 对实时视频帧进行相关的渲染操作,指定代理
    [_videoOutput setSampleBufferDelegate:self queue:dispatch_get_main_queue()];
    
    self.session = [[AVCaptureSession alloc] init];
    
    // 设置输出质量(高像素输出)
    if ([self.session canSetSessionPreset:AVCaptureSessionPreset640x480]) {
        [self.session setSessionPreset:AVCaptureSessionPreset640x480];
    }
    // 添加输入和输出到会话
    [self.session beginConfiguration];
    
    if ([self.session canAddInput:_input]) {
        [self.session addInput:_input];
    }
    
    if ([self.session canAddOutput:_videoOutput]) {
        [self.session addOutput:_videoOutput];
    }
    
    [self.session commitConfiguration];
    
    AVCaptureSession *session = (AVCaptureSession *)self.session;
    
    //8.创建预览图层
    _previewLayer = [[AVCaptureVideoPreviewLayer alloc] initWithSession:session];
    _previewLayer.videoGravity = AVLayerVideoGravityResizeAspectFill;
    _previewLayer.frame = self.view.bounds;
    [self.view.layer insertSublayer:_previewLayer atIndex:0];
    

    //10. 开始扫描
    [self.session startRunning];

}
四、将CMSampleBufferRef转为NSImage
- (void )imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer
{
    //CIImage -> CGImageRef -> UIImage
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);  //拿到缓冲区帧数据
    CIImage *ciImage = [CIImage imageWithCVPixelBuffer:imageBuffer];            //创建CIImage对象
    CIContext *temporaryContext = [CIContext contextWithOptions:nil];           //创建上下文
    
    //识别脸部
    CIDetector *detector=[CIDetector detectorOfType:CIDetectorTypeFace context:temporaryContext options:@{CIDetectorAccuracy: CIDetectorAccuracyLow}]; //CIDetectorAccuracyLow:识别精度低,但识别速度快、性能高
                                                              //CIDetectorAccuracyHigh:识别精度高、但识别速度比较慢
    NSArray *faceArray = [detector featuresInImage:ciImage
                                           options:nil];
    
    //得到人脸图片的尺寸
    if (faceArray.count) {
        NSLog(@"faceArray == %@",faceArray);
        WS(weakSelf);
        for (CIFaceFeature * faceFeature in faceArray) {
           if (faceFeature.hasLeftEyePosition && faceFeature.hasRightEyePosition  && faceFeature.hasMouthPosition) {
                NSLog(@"_isFirst == %d",_isFirst);
               //这个布尔值用于判断检测到人脸后,获取到人脸照片,不用再进行持续检测
                if (_isFirst) {
                    //因为刚开始扫描到的人脸是模糊照片,所以延迟几秒获取
                    dispatch_after(dispatch_time(DISPATCH_TIME_NOW, (int64_t)(2.0 * NSEC_PER_SEC)), dispatch_get_main_queue(), ^{
                        CGImageRef cgImageRef = [temporaryContext createCGImage:ciImage fromRect:faceFeature.bounds];
                        
                        //resultImg即为获得的人脸图片
                        UIImage   *resultImg = [[UIImage alloc] initWithCGImage:cgImageRef scale:0.1 orientation:UIImageOrientationLeftMirrored];
                        
                        //显示人脸图片,这里可以将图片转为NSdata类型后,请求后台接口
                        [self uploadFaceImg:resultImg];
                        //置为NO
                        weakSelf.isFirst = NO;
                    });
                   
                }
           }
        }
    }
}

六、 显示捕捉到的人脸图片
//显示图片,这里可以请求后台接口
-(void)uploadFaceImg:(UIImage *)image{
    _faceImgView.image = image;

     WS(weakSelf);
    //这里设置为2秒后可以进行继续检测
    dispatch_after(dispatch_time(DISPATCH_TIME_NOW, (int64_t)(2.0 * NSEC_PER_SEC)), dispatch_get_main_queue(), ^{
        weakSelf.isFirst = YES;
    });
}
七、实现 AVCaptureVideoDataOutput获取实时图像的代理
#pragma mark - AVCaptureVideoDataOutputSampleBufferDelegate
//AVCaptureVideoDataOutput获取实时图像,这个代理方法的回调频率很快,几乎与手机屏幕的刷新频率一样快
- (void)captureOutput:(AVCaptureOutput*)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection*)connection{
    [self imageFromSampleBuffer:sampleBuffer];
}

结语:

以上就是人脸识别功能代码, 如有问题请下方留言指正!
如有帮助请👍支持一下 😄
Demo地址: https://github.com/zhwIdea/FaceDetect

下一篇文章:基于GPUImage框架进行人脸识别

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342

推荐阅读更多精彩内容