簡介

這個(gè)功能我也不知道該怎么去稱呼,只好引用WWDC 上的英文來作為這個(gè)這個(gè)功能的標(biāo)題和命名了==><<Photo from Video with Removal of Unwanted Objects>>

效果圖-1.png

功能

該功能的具體效果是 在五張同個(gè)場景的圖片,通過Vision 和 coreimage的結(jié)合實(shí)現(xiàn)去除圖片上移動的物體.比如效果圖 - 1
中五張圖片都是人物的.通過我們今天的技術(shù)可以輸出 去除移動中的物體.

三大框架 四步驟

一. 獲取資源

第一步就是獲取資源.我們一般去視頻資源中獲取資源.這一步當(dāng)然很簡單了. 使用AVfoundation去獲取資源

        UIImage *image;
        AVAssetImageGenerator *gen = [[AVAssetImageGenerator alloc] initWithAsset:asset];
        NSError *error = nil;
        CMTime actualTime;
        CGImageRef cgimage = [gen copyCGImageAtTime:CMTimeMakeWithSeconds(internelTime, 300) actualTime:&actualTime error:&error];
        image = [[UIImage alloc] initWithCGImage:cgimage];
        CGImageRelease(cgimage);

二.獲取單應(yīng)性矩陣

這里的話就要介紹一下蘋果的在iOS 11推出的神器了==>Vision
Vision 是iOS11 提出來處理圖片的新框架.其主要應(yīng)用場景是:
1.人臉檢測.
2.人臉特征點(diǎn).
3.圖像配準(zhǔn).
4.矩形檢測.
5.二維碼/條形碼檢測
6.文字檢測.
7.目標(biāo)跟蹤.
我們在這里要使用到的就是第三個(gè)功能塊 圖像配準(zhǔn)
Vision的API是非常簡單.只需要幾句代碼就可以得到我們需要的東西了.直接上代碼

//圖像對齊分析
- (matrix_float3x3)imageAlignmentAnalysisWithImage:(UIImage *)image{
    UIImage *image1 = [UIImage imageWithName:"1"];
    VNHomographicImageRegistrationRequest *request = [[VNHomographicImageRegistrationRequest alloc]initWithTargetedCGImage:image1.CGImage options:@{}];
    VNImageRequestHandler *requestHandler = [[VNImageRequestHandler alloc] initWithCGImage:image.CGImage options:@{}];
    [requestHandler performRequests:@[request] error:nil];
    VNImageHomographicAlignmentObservation *observation = request.results.firstObject;
    matrix_float3x3 warpTrans = observation.warpTransform;
    return warpTrans;
}

在這里我們得到我們需要的一個(gè)3*3的單應(yīng)性矩陣.

三.coreImage 使用內(nèi)核 矯正圖片

那么這里又需要使用到 coreimage 的 CIFilter 功能了.
我直接給個(gè)鏈接CIFilter內(nèi)核使用.它本身比較好理解.使用的方式也有比較簡單.主要分清楚CIWarpKernel 和 CIColorKernel的使用情況以及metal文件中的使用.
我們還要使用到Metal的著色器(如果不懂著色器的同學(xué)可以去了解一下OpenGL).
首先我們創(chuàng)建一個(gè).metal文件

創(chuàng)建.metal文件

#include <CoreImage/CoreImage.h>

第二步在c環(huán)境下使用metal著色器語言

extern "C" {
    namespace coreimage {
        float2 warpHomography(float3 a, float3 b, float3 c, destination dest ){
            float3x3 h(a,b,c);
            float3 homogeneousDestCoord = float3(dest.coord(),1.0);
            float3 homogeneousSrcCoord = h * homogeneousDestCoord;
            float2 srcCoord = homogeneousSrcCoord.xy / max(homogeneousSrcCoord.z, 0.000001);
            return srcCoord;
        }
  }
}

這樣我們就可以通過coreimage 獲得 一個(gè)變形之后的圖片了.

第四步 使用中位算法 獲取最終的圖片

一樣我們要使用coreimage的CIColorKernel內(nèi)核功能

extern "C" {
    namespace coreimage {
        inline void swap(thread float4 &a,thread float4 &b){
            float4 tmp = a; a = min(a,b); b = max(tmp, b);
        }
        
        float4 medianReduction5(sample_t v0,sample_t v1,sample_t v2,sample_t v3,sample_t v4,sample_t v5,sample_t v6,sample_t v7,sample_t v8,sample_t v9){
            swap(v0, v1); swap(v3, v4); swap(v2, v4);
            swap(v2, v3); swap(v0, v3); swap(v0, v2);
            swap(v1, v4); swap(v1, v3); swap(v1, v2);
            return v2;
        }
    }
}

效果圖

總結(jié)

這個(gè)API還是存在問題.如果視頻搖晃激烈.則效果比較差.

原創(chuàng)文章轉(zhuǎn)載需獲授權(quán)并注明出處
請?jiān)诤笈_留言聯(lián)系轉(zhuǎn)載