简介
这个功能我也不知道该怎么去称呼,只好引用WWDC 上的英文来作为这个这个功能的标题和命名了==><<Photo from Video with Removal of Unwanted Objects>>
功能
该功能的具体效果是 在五张同个场景的图片,通过Vision 和 coreimage的结合实现去除图片上移动的物体.比如效果图 - 1
中五张图片都是人物的.通过我们今天的技术可以输出 去除移动中的物体.
三大框架 四步骤
一. 获取资源
第一步就是获取资源.我们一般去视频资源中获取资源.这一步当然很简单了. 使用AVfoundation去获取资源
UIImage *image;
AVAssetImageGenerator *gen = [[AVAssetImageGenerator alloc] initWithAsset:asset];
NSError *error = nil;
CMTime actualTime;
CGImageRef cgimage = [gen copyCGImageAtTime:CMTimeMakeWithSeconds(internelTime, 300) actualTime:&actualTime error:&error];
image = [[UIImage alloc] initWithCGImage:cgimage];
CGImageRelease(cgimage);
二.获取单应性矩阵
这里的话就要介绍一下苹果的在iOS 11推出的神器了==>Vision
Vision 是iOS11 提出来处理图片的新框架.其主要应用场景是:
1.人脸检测.
2.人脸特征点.
3.图像配准.
4.矩形检测.
5.二维码/条形码检测
6.文字检测.
7.目标跟踪.
我们在这里要使用到的就是第三个功能块 图像配准
Vision的API是非常简单.只需要几句代码就可以得到我们需要的东西了.直接上代码
//图像对齐分析
- (matrix_float3x3)imageAlignmentAnalysisWithImage:(UIImage *)image{
UIImage *image1 = [UIImage imageWithName:"1"];
VNHomographicImageRegistrationRequest *request = [[VNHomographicImageRegistrationRequest alloc]initWithTargetedCGImage:image1.CGImage options:@{}];
VNImageRequestHandler *requestHandler = [[VNImageRequestHandler alloc] initWithCGImage:image.CGImage options:@{}];
[requestHandler performRequests:@[request] error:nil];
VNImageHomographicAlignmentObservation *observation = request.results.firstObject;
matrix_float3x3 warpTrans = observation.warpTransform;
return warpTrans;
}
在这里我们得到我们需要的一个3*3的单应性矩阵.
三.coreImage 使用内核 矫正图片
那么这里又需要使用到 coreimage 的 CIFilter 功能了.
我直接给个链接CIFilter内核使用.它本身比较好理解.使用的方式也有比较简单.主要分清楚CIWarpKernel 和 CIColorKernel的使用情况以及metal文件中的使用.
我们还要使用到Metal的着色器(如果不懂着色器的同学可以去了解一下OpenGL).
首先我们创建一个.metal文件
第一步是我们导入coreimage的头文件
#include <CoreImage/CoreImage.h>
第二步在c环境下使用metal着色器语言
extern "C" {
namespace coreimage {
float2 warpHomography(float3 a, float3 b, float3 c, destination dest ){
float3x3 h(a,b,c);
float3 homogeneousDestCoord = float3(dest.coord(),1.0);
float3 homogeneousSrcCoord = h * homogeneousDestCoord;
float2 srcCoord = homogeneousSrcCoord.xy / max(homogeneousSrcCoord.z, 0.000001);
return srcCoord;
}
}
}
这样我们就可以通过coreimage 获得 一个变形之后的图片了.
第四步 使用中位算法 获取最终的图片
一样我们要使用coreimage的CIColorKernel内核功能
extern "C" {
namespace coreimage {
inline void swap(thread float4 &a,thread float4 &b){
float4 tmp = a; a = min(a,b); b = max(tmp, b);
}
float4 medianReduction5(sample_t v0,sample_t v1,sample_t v2,sample_t v3,sample_t v4,sample_t v5,sample_t v6,sample_t v7,sample_t v8,sample_t v9){
swap(v0, v1); swap(v3, v4); swap(v2, v4);
swap(v2, v3); swap(v0, v3); swap(v0, v2);
swap(v1, v4); swap(v1, v3); swap(v1, v2);
return v2;
}
}
}
总结
这个API还是存在问题.如果视频摇晃激烈.则效果比较差.
原创文章转载需获授权并注明出处
请在后台留言联系转载
