上两篇文章介绍了用iOS原生的人脸检测 与 Dlib的关键点检测来实现的 人脸关键点识别，相信已经实现的小伙伴会感觉到，当你转头的时候，关键点会飘，位置很不稳定，确实存在这种情况，根本原因可能是iOS原生的人脸检测出来的人脸框，跟Dlib 的检测出的人脸框不一致（Dlib也有人脸检测，但是由于性能问题我没用，后面试了一下，效果也不是很好）,总之有时候就会不准，由于水平问题我没有很深的探究，只是猜想；
今天介绍一个比较稳定的东西，这个东西包含了人脸检测与关键点检测，所以我们放弃原来的iOS原生人脸检测，这个东西叫作MTCNN，这个东西查了一下资料，对不起看不懂（非机器学习方向）！！！看名字就知道是CNN的网络（卷积神经网络），简单的看了一下，这个东西是靠着3个网络一起来工作的，分别是Pnet,Rnet,Onet,每一层的输出都给到下一层，最后出来就是比较好的输出结果。可以给他理解成流水线吧，每个步骤都会将数据加工成下一个步骤想要的数据，去其糟粕，取其精华，因此他的名字还叫 多任务级联卷积神经网络
1.按照老套路，依旧先看下效果
IMB_of7rVi.GIF
我们可以看到，当人在摇头的时候关键点 并没有大幅度的飘离，稳定性要比之前的好很多，下面我们就开始来将MTCNN放在移动设备中吧
Step 1
移动端可以基于ncnn来写MTCNN，由于水平有限，我在github上找到了一个基于ncnn写的MTCNN 下载MTCNN
image.png
- 首先将上图中mtcnn.cpp 与 mtcnn.h拖入你的工程中
- 然后 将models文件夹整个拖入你的工程中，其实这里面有些文件是没有用的，只是为了省事，我们用到的只有.bin和.param
Step 2
下载 ncnn与openmp 下载ncnn.framework 与 openmp.framework
将这两个framework 拖进你的工程中
- command + B 看是否build 成功，可能出现round 报错，那就#include <math.h>，还有找不到 “net.h” 那就换成#include <ncnn/net.h>
Step 3
下面我们可以写代码了，新建一个FaceMtcnnWrapper类
{
MTCNN *mtcnn;
}
- (instancetype)init
{
self = [super init];
if (self) {
mtcnn = new MTCNN([[[NSBundle mainBundle] bundlePath] UTF8String]);
//设置可以检测到的最小人脸，越小越耗费性能，检测时间越久
mtcnn->SetMinFace(40);
}
return self;
}
- (NSArray <Face *>*)detectMaxFace:(UIImage *)image
{
int w = image.size.width;
int h = image.size.height;
unsigned char* rgba = new unsigned char[w*h*4];
{
CGColorSpaceRef colorSpace = CGImageGetColorSpace(image.CGImage);
CGContextRef contextRef = CGBitmapContextCreate(rgba, w, h, 8, w*4,
colorSpace,
kCGImageAlphaNoneSkipLast | kCGBitmapByteOrderDefault);
CGContextDrawImage(contextRef, CGRectMake(0, 0, w, h), image.CGImage);
CGContextRelease(contextRef);
}
ncnn::Mat ncnn_img;
ncnn_img = ncnn::Mat::from_pixels(rgba, ncnn::Mat::PIXEL_RGBA2RGB, w, h);
std::vector<Bbox> finalBbox;
//还有一个detectMaxFace 方法，这个返回一个人脸信息 下面的返回一堆
mtcnn->detect(ncnn_img, finalBbox);
int32_t num_face = static_cast<int32_t>(finalBbox.size());
int out_size = 1+num_face*14;
NSMutableArray *faceInfoArr = [NSMutableArray arrayWithCapacity:0];
int *faceInfo = new int[out_size];
faceInfo[0] = num_face;
for(int i=0;i<num_face;i++){
NSMutableArray *points = [NSMutableArray arrayWithCapacity:0];
Face *faceInfo = [[Face alloc] init];
CGRect rect = CGRectMake(finalBbox[i].x1, finalBbox[i].y1, finalBbox[i].x2 - finalBbox[i].x1, finalBbox[i].y2 - finalBbox[i].y1);
for (int j =0;j<5;j++){
CGPoint point = CGPointMake(finalBbox[i].ppoint[j], finalBbox[i].ppoint[j + 5]);
[points addObject:[NSValue valueWithCGPoint:point]];
}
faceInfo.landmarks = points;
faceInfo.rect = rect;
[faceInfoArr addObject:faceInfo];
}
delete [] rgba;
delete [] faceInfo;
finalBbox.clear();
return faceInfoArr;
}
我们在 AVCaptureSession 的回调里面直接检测就可以了
#pragma mark - AVCaptureSession Delegate -
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
UIImage *image = [self imageFromPixelBuffer:sampleBuffer];
cv::Mat mat;
UIImageToMat(image, mat);
NSArray <Face *>*info = [_mt detectMaxFace:image];
for (Face *face in info) {
cv::rectangle(mat, cv::Rect(face.rect.origin.x,face.rect.origin.y,face.rect.size.width,face.rect.size.height), cv::Scalar(0,255,0,255));
for (int i = 0; i < face.landmarks.count; i++) {
NSValue *point = face.landmarks[i];
CGPoint p = [point CGPointValue];
cv::rectangle(mat, cv::Rect(p.x,p.y,4,4), cv::Scalar(0,255,0,255),-1);
}
}
//这里不考虑性能 直接怼Image
dispatch_async(dispatch_get_main_queue(), ^{
self.cameraView.image = MatToUIImage(mat);
});
}
