清除图片上多余的物体 - iOS 11 Vision带来的超炫功

简介

这个功能我也不知道该怎么去称呼,只好引用WWDC 上的英文来作为这个这个功能的标题和命名了==><<Photo from Video with Removal of Unwanted Objects>>

效果图-1.png

功能

该功能的具体效果是 在五张同个场景的图片,通过Vision 和 coreimage的结合实现去除图片上移动的物体.比如效果图 - 1
中五张图片都是人物的.通过我们今天的技术可以输出 去除移动中的物体.

三大框架 四步骤

一. 获取资源

第一步就是获取资源.我们一般去视频资源中获取资源.这一步当然很简单了. 使用AVfoundation去获取资源

        UIImage *image;
        AVAssetImageGenerator *gen = [[AVAssetImageGenerator alloc] initWithAsset:asset];
        NSError *error = nil;
        CMTime actualTime;
        CGImageRef cgimage = [gen copyCGImageAtTime:CMTimeMakeWithSeconds(internelTime, 300) actualTime:&actualTime error:&error];
        image = [[UIImage alloc] initWithCGImage:cgimage];
        CGImageRelease(cgimage);

二.获取单应性矩阵

这里的话就要介绍一下苹果的在iOS 11推出的神器了==>Vision
Vision 是iOS11 提出来处理图片的新框架.其主要应用场景是:
1.人脸检测.
2.人脸特征点.
3.图像配准.
4.矩形检测.
5.二维码/条形码检测
6.文字检测.
7.目标跟踪.
我们在这里要使用到的就是第三个功能块 图像配准
Vision的API是非常简单.只需要几句代码就可以得到我们需要的东西了.直接上代码

//图像对齐分析
- (matrix_float3x3)imageAlignmentAnalysisWithImage:(UIImage *)image{
    UIImage *image1 = [UIImage imageWithName:"1"];
    VNHomographicImageRegistrationRequest *request = [[VNHomographicImageRegistrationRequest alloc]initWithTargetedCGImage:image1.CGImage options:@{}];
    VNImageRequestHandler *requestHandler = [[VNImageRequestHandler alloc] initWithCGImage:image.CGImage options:@{}];
    [requestHandler performRequests:@[request] error:nil];
    VNImageHomographicAlignmentObservation *observation = request.results.firstObject;
    matrix_float3x3 warpTrans = observation.warpTransform;
    return warpTrans;
}

在这里我们得到我们需要的一个3*3的单应性矩阵.

三.coreImage 使用内核 矫正图片

那么这里又需要使用到 coreimage 的 CIFilter 功能了.
我直接给个链接CIFilter内核使用.它本身比较好理解.使用的方式也有比较简单.主要分清楚CIWarpKernel 和 CIColorKernel的使用情况以及metal文件中的使用.
我们还要使用到Metal的着色器(如果不懂着色器的同学可以去了解一下OpenGL).
首先我们创建一个.metal文件

创建.metal文件
第一步是我们导入coreimage的头文件

#include <CoreImage/CoreImage.h>

第二步在c环境下使用metal着色器语言

extern "C" {
    namespace coreimage {
        float2 warpHomography(float3 a, float3 b, float3 c, destination dest ){
            float3x3 h(a,b,c);
            float3 homogeneousDestCoord = float3(dest.coord(),1.0);
            float3 homogeneousSrcCoord = h * homogeneousDestCoord;
            float2 srcCoord = homogeneousSrcCoord.xy / max(homogeneousSrcCoord.z, 0.000001);
            return srcCoord;
        }
  }
}

这样我们就可以通过coreimage 获得 一个变形之后的图片了.

第四步 使用中位算法 获取最终的图片

一样我们要使用coreimage的CIColorKernel内核功能

extern "C" {
    namespace coreimage {
        inline void swap(thread float4 &a,thread float4 &b){
            float4 tmp = a; a = min(a,b); b = max(tmp, b);
        }
        
        float4 medianReduction5(sample_t v0,sample_t v1,sample_t v2,sample_t v3,sample_t v4,sample_t v5,sample_t v6,sample_t v7,sample_t v8,sample_t v9){
            swap(v0, v1); swap(v3, v4); swap(v2, v4);
            swap(v2, v3); swap(v0, v3); swap(v0, v2);
            swap(v1, v4); swap(v1, v3); swap(v1, v2);
            return v2;
        }
    }
}

这样我们就能得到我们想要的效果了 效果图

总结

这个API还是存在问题.如果视频摇晃激烈.则效果比较差.

原创文章转载需获授权并注明出处
请在后台留言联系转载