Android 關(guān)于美顏/濾鏡 從OpenGl錄制視頻的一種方案

前言

這篇文章是有感而發(fā),從一開始做實(shí)時(shí)美顏視頻錄制到現(xiàn)在大概能真正開始用,找了無數(shù)資料,也經(jīng)歷了很長一段時(shí)間,真的感覺比較艱難,我現(xiàn)在寫這篇文章也希望能幫助到更多的人。

首先我需要特別感謝下程序員扛把子同學(xué),講真,我感覺是技術(shù)大佬沒的說,最最關(guān)鍵具有共享精神,要不是他的《Android+JNI+OpenGL開發(fā)自己的美圖秀秀》我估計(jì)根本沒任何辦法完成美顏錄制。

代碼已上傳至GitHub

特別附上MagicCamera工程

提示:工程需要下載NDK

正文

其實(shí)一開始叫我做美顏錄制我是拒絕的,因?yàn)椴荒苣憬形易鑫揖妥?,最關(guān)鍵的是......

我不會(huì)?。。。?/strong>

我就是一開發(fā)Android的,你叫我做這個(gè)明顯是超出的能力范圍的?。。。?/p>

好吧,領(lǐng)導(dǎo)最大,你叫我做我就做,然后我就開始找這方面的資料,最先找到的就是GPUImage,后來找到了MagicCamera,可以說它已經(jīng)實(shí)現(xiàn)了全部的功能,你唯一需要考慮的就是如何將它移植到你的工程中去。


其實(shí)上面的都不是本文的重點(diǎn)n(≧▽≦)n**

重點(diǎn)來了

我上面說過MagicCamera已經(jīng)實(shí)現(xiàn)了全部的功能,包括實(shí)時(shí)濾鏡瀏覽到最后的錄制成MP4,但問題就出在錄制這里。

MagicCamera采用的是錄制方案來自于grafika,這是個(gè)神器,你可以從里面了解到GLSurfaceview的很多知識,據(jù)說是Google工程師fadden業(yè)余時(shí)間寫的。

這個(gè)方案實(shí)際上最終就是利用MediaCodec錄制,MediaCodec的顏色模式里有個(gè)MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface常量,設(shè)置MediaFormat.KEY_COLOR_FORMAT后就可以通過mEncoder.createInputSurface()創(chuàng)建一個(gè)Surface,然后你就可以通過OpenGL將圖像繪制到這個(gè)Surface上,MediaCodec就可以通過這個(gè)Surface錄制出H264,具體代碼可以看VideoEncoderCore。

上面方案其實(shí)非常好,效率也非常高,因?yàn)槭侵苯佑簿幋a的H264,比起一般使用ffmpng的軟編碼效率要高不少,但是有個(gè)非常致命的缺點(diǎn),無法設(shè)置fps。

MediaCodec有個(gè)MediaFormat.KEY_FRAME_RATE參數(shù),它可以設(shè)置fps,但是我發(fā)現(xiàn)我不管設(shè)置什么最終讀出的fps都是25幀,后來我谷歌到了《MediaCodec KEY_FRAME_RATE seems to be ignored》才知道MediaCodec不會(huì)丟幀,如果要降低fps,必須減少傳給MediaCodec的幀數(shù),但事實(shí)上我就算減少了幀數(shù),最終錄制出來的H264的fps還是25幀,我不知道為什么。

這里我跟yasea的作者begeekmyfriend討論過《關(guān)于取得美顏數(shù)據(jù)的效率問題》還是沒得到結(jié)果,如果有誰知道請留言告訴我下,謝謝。

如果你對MediaCodec不熟悉的話,可以看下Google官方文檔的翻譯版本《Android多媒體--MediaCodec 中文API文檔》然后結(jié)合grafika學(xué)習(xí)。

解決問題

然后我沒辦法只能尋找其他方法解決。

我這里列舉下我查找過的方法

  • GLES20.glReadPixels():OpenGL方法,用于讀取像素,但我測試過只有在索尼或者三星的手機(jī)上效率可以,在國產(chǎn)的機(jī)子上效率低的可以差不多接近100ms,這是完全不可接受的。
  • PBO:詳細(xì)請看我的另一篇文章《Android 關(guān)于美顏/濾鏡 利用PBO從OpenGL錄制視頻》。
  • EGLImageKHR:它要用到一個(gè)叫GraphicBuffer的類,但是谷歌后我才知道這個(gè)類早在2.X就已經(jīng)在NDK刪除了,不允許你使用,后來我找到了替代GraphicBuffer,但是想想還是算了,既然被刪除了就一定有他的道理。
  • ImageReader:這個(gè)就是我最終的方案,效率完全可以接受,但是要求4.4以上。

ImageReader

這個(gè)方案是我從《Android5.0錄屏方案》中得到的靈感,這篇文章說MediaProjection是通過createVirtualDisplay()創(chuàng)建的,并且它接受一個(gè)Surface,通過創(chuàng)建ImageReader后調(diào)用getSurface()方法得到一個(gè)Surface后傳遞給MediaProjection,然后就可以通過ImageReader相關(guān)的API進(jìn)行錄制。

這我發(fā)現(xiàn)跟MediaCodec創(chuàng)建Surface的方式一模一樣,唯一不同的就是MediaCodec錄制出來的是H264,而ImageReader拿出來的是BGRA的,用《Android ImageReader使用》的話說就是**ImageReader類允許應(yīng)用程序直接訪問呈現(xiàn)表面的圖像數(shù)據(jù) **。

ImageReader首先要求4.4及以上(稍微有點(diǎn)瑕疵,但是現(xiàn)在4.4以下的機(jī)子應(yīng)該比較少了),并且拿出來的是BGRA的(跟Bitmap的ARGB_8888是不一樣的,這里要注意),而且在使用過程中要注意內(nèi)存對齊的問題。

這里需要注意,我在Demo中是480x640的,如果是原來的1280x1080那這效率還是遠(yuǎn)遠(yuǎn)跟不上的。

接下來我們的思路就很清楚了

  1. 創(chuàng)建ImageReader后獲得Surface。
  • TextureMovieEncoder獲取這個(gè)Surface,然后將圖像繪制到這個(gè)Surface。
  • 通過setOnImageAvailableListener設(shè)置回調(diào),然后通過acquireNextImage()方法獲取每一幀。
  • 將取出來的數(shù)據(jù)BGRA轉(zhuǎn)換為YUV420,通過MediaCodec或者ffmpng編碼成H264。

我們現(xiàn)在要做的就是替換VideoEncoderCore,創(chuàng)建一個(gè)ImageEncoderCore。

完整代碼請看ImageEncoderCore

public class ImageEncoderCore {
    private static final int MAX_IMAGE_NUMBER = 25;//這個(gè)值代表ImageReader最大的存儲圖像

    private ImageReader mImageReader;
    private Surface mInputSurface;

    public ImageEncoderCore(int width, int height) {
        this.mImageReader = ImageReader.newInstance(width, height, PixelFormat.RGBA_8888, MAX_IMAGE_NUMBER);

        mInputSurface = mImageReader.getSurface();

        mImageReader.setOnImageAvailableListener(new ImageReader.OnImageAvailableListener() {
            @Override
            public void onImageAvailable(ImageReader reader) {
                Image image = reader.acquireNextImage();//獲取下一個(gè)
                Image.Plane[] planes = image.getPlanes();
                int width = image.getWidth();//設(shè)置的寬
                int height = image.getHeight();//設(shè)置的高
                int pixelStride = planes[0].getPixelStride();//像素個(gè)數(shù),RGBA為4
                int rowStride = planes[0].getRowStride();//這里除pixelStride就是真實(shí)寬度
                int rowPadding = rowStride - pixelStride * width;//計(jì)算多余寬度

                byte[] data = new byte[rowStride * height];//創(chuàng)建byte
                ByteBuffer buffer = planes[0].getBuffer();//獲得buffer
                buffer.get(data);//將buffer數(shù)據(jù)寫入byte中

                //到這里為止就拿到了圖像數(shù)據(jù),你可以轉(zhuǎn)換為yuv420,或者錄制成H264

                //這里我提供一段轉(zhuǎn)換為Bitmap的代碼

                //這是最終數(shù)據(jù),通過循環(huán)將內(nèi)存對齊多余的部分刪除掉
                // 正常ARGB的數(shù)據(jù)應(yīng)該是width*height*4,但是因?yàn)槭莍nt所以不用乘4
                int[] pixelData = new int[width * height];

                int offset = 0;
                int index = 0;
                for (int i = 0; i < height; ++i) {
                    for (int j = 0; j < width; ++j) {
                        int pixel = 0;
                        pixel |= (data[offset] & 0xff) << 16;     // R
                        pixel |= (data[offset + 1] & 0xff) << 8;  // G
                        pixel |= (data[offset + 2] & 0xff);       // B
                        pixel |= (data[offset + 3] & 0xff) << 24; // A
                        pixelData[index++] = pixel;
                        offset += pixelStride;
                    }
                    offset += rowPadding;
                }

                Bitmap bitmap = Bitmap.createBitmap(pixelData,
                        width, height,
                        Bitmap.Config.ARGB_8888);//創(chuàng)建bitmap

                image.close();//用完需要關(guān)閉
            }
        }, null);
    }

    /**
     * 返回surface
     */
    public Surface getInputSurface() {
        return mInputSurface;
    }

    /**
     * 釋放
     */
    public void release() {
        if (mImageReader != null) {
            mImageReader.close();
            mImageReader = null;
        }
    }
}

工程我直接用的是MagicCamera,將VideoEncoderCore替換成ImageEncoderCore,然后將獲取的圖像傳回主界面顯示。

結(jié)尾

實(shí)時(shí)上ImageReader對于獲取大尺寸的圖像的效率還是不是非常高,所以我在工程中使用的是480x640的分辨率,老實(shí)講我還是覺得MediaCodec的方法應(yīng)該更加的好,畢竟ImageReader還需要多2步轉(zhuǎn)換過程(BGRA轉(zhuǎn)ARGB轉(zhuǎn)YUV420)。

就這些吧,共勉。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容