簡(jiǎn)介

這一份教程是關(guān)于如何使用最新的 FFmpeg 3.2.4 進(jìn)行音視頻的編解碼,以及如何使用 metal 對(duì)解碼之后的幀數(shù)據(jù)進(jìn)行渲染. 感覺現(xiàn)在的 ffmpeg 教程都是基于 2.x 的所以就自己鼓搗了一下,希望和大家一起討論交流共同進(jìn)步. 本教程的 github 源碼 (運(yùn)行環(huán)境 OSX)也會(huì)跟隨本教程持續(xù)更新.因?yàn)樽髡哂腥毠ぷ魉圆荒鼙ＷC更新進(jìn)度望大家理解. 本教程也參考了 kxMovie 感謝作者.

音視頻基礎(chǔ)介紹

首先,大家需要有一定的基礎(chǔ)知識(shí),對(duì)于音視頻其實(shí)大家都知道所謂的視頻就是一幀一幀的圖片組合而成.隨著時(shí)間正確的渲染出圖片就能播放一個(gè)視頻. 同樣的音頻就是在正確的時(shí)間播放出對(duì)應(yīng)的聲音.在對(duì)的時(shí)間貼上對(duì)的圖對(duì)的聲音就能播放完整的電影了.

FFmpeg 介紹

FFmpeg是一個(gè)自由軟件，可以運(yùn)行音頻和視頻多種格式的錄影、轉(zhuǎn)換、流功能[1]，包含了libavcodec——這是一個(gè)用于多個(gè)項(xiàng)目中音頻和視頻的解碼器庫(kù)，以及l(fā)ibavformat——一個(gè)音頻與視頻格式轉(zhuǎn)換庫(kù)。
“FFmpeg”這個(gè)單詞中的“FF”指的是“Fast Forward”[2]。有些新手寫信給“FFmpeg”的項(xiàng)目負(fù)責(zé)人，詢問FF是不是代表“Fast Free”或者“Fast Fourier”等意思，“FFmpeg”的項(xiàng)目負(fù)責(zé)人回信說：“Just for the record, the original meaning of "FF" in FFmpeg is "Fast Forward"...”
這個(gè)項(xiàng)目最初是由Fabrice Bellard發(fā)起的，而現(xiàn)在是由Michael Niedermayer在進(jìn)行維護(hù)。許多FFmpeg的開發(fā)者同時(shí)也是MPlayer項(xiàng)目的成員，F(xiàn)Fmpeg在MPlayer項(xiàng)目中是被設(shè)計(jì)為服務(wù)器版本進(jìn)行開發(fā)。
2011年3月13日，F(xiàn)Fmpeg部分開發(fā)人士決定另組Libav，同時(shí)制定了一套關(guān)于項(xiàng)目繼續(xù)發(fā)展和維護(hù)的規(guī)則。

FFmpeg 組件

• ffmpeg——一個(gè)命令行工具，用來對(duì)視頻文件轉(zhuǎn)換格式，也支持對(duì)電視卡即時(shí)編碼
• ffserver——一個(gè)HTTP多媒體即時(shí)廣播流服務(wù)器，支持時(shí)光平移
• ffplay——一個(gè)簡(jiǎn)單的播放器，基于SDL與FFmpeg庫(kù)
• libavcodec——包含全部FFmpeg音頻/視頻編解碼庫(kù)
• libavformat——包含demuxers和muxer庫(kù)
• libavutil——包含一些工具庫(kù)
• libpostproc——對(duì)于視頻做前處理的庫(kù)
• libswscale——對(duì)于視頻作縮放的庫(kù)

利用 FFmpeg 視頻解碼

在項(xiàng)目中我們可以創(chuàng)建一個(gè)負(fù)責(zé)音視頻解碼的類,命名為 xxDecoder.mm ,在初始化函數(shù)中調(diào)用 av_register_all(); 方法初始化 FFmpeg,然后開始對(duì)視頻進(jìn)行編解碼.

檢測(cè)音視頻文件是否可以解碼

一些比較簡(jiǎn)單的工作在本教程中我就省略了,比如創(chuàng)建一個(gè) NSOpenPanel 去選取音視頻文件.拿到文件之后我們需要對(duì)文件的傳入路徑做一下分析看它是不是一個(gè)本地文件,因?yàn)?FFmpeg 也支持多媒體即使廣流服務(wù)器.(本教程截止 2017.02.28 播放器僅支持本地播放 實(shí)際上還沒解碼音頻??) 假如是流媒體文件我們需要調(diào)用 avformat_network_init(); .
首先我們需要?jiǎng)?chuàng)建一個(gè) AVFormatContext 實(shí)例,這個(gè)實(shí)例對(duì)我們來說是非常重要的需要作為我們解碼類的一個(gè)成員確定可以打開文件之后進(jìn)行成員變量的賦值.

//創(chuàng)建 AVFormatContext 實(shí)例
    AVFormatContext *formatCtx = NULL;
    //容錯(cuò)回調(diào)
    if (_interruptCallback) {
        
        formatCtx = avformat_alloc_context();
        if (!formatCtx)
            return lzmMediaErrorOpenFile;
        
        AVIOInterruptCB cb = {interrupt_callback, (__bridge void *)(self)};
        formatCtx->interrupt_callback = cb;
    }

以上代碼就是創(chuàng)建一個(gè) AVFormatContext 實(shí)例然后創(chuàng)建了一個(gè)回調(diào)假如解碼出現(xiàn)錯(cuò)誤能夠及時(shí)回調(diào)做出相應(yīng)的處理.

接下來使用 FFmpeg 接口打開傳入的文件路徑, avformat_open_input 沒有出錯(cuò)的話,我們還需要檢查是否能打開音視頻流.一切 OK 就可以保存這樣一個(gè) AVFormatContext 實(shí)例.

    //打開文件獲得錯(cuò)誤碼
    int err_code = avformat_open_input(&formatCtx, [path cStringUsingEncoding:NSUTF8StringEncoding], NULL, NULL);
    //出現(xiàn)錯(cuò)誤
    if (err_code != 0) {
        
        if (formatCtx)
            avformat_free_context(formatCtx);
        
        char* buf[1024];
        av_strerror(err_code, (char*)buf, 1024);
        printf("Couldn't open file %s: %d(%s)", [path cStringUsingEncoding: NSUTF8StringEncoding], err_code, (char*)buf);
        
        return lzmMediaErrorOpenFile;
    }
    
    //獲取音視頻流
    if (avformat_find_stream_info(formatCtx, NULL) < 0) {
        
        avformat_close_input(&formatCtx);
        return lzmMediaErrorStreamInfoNotFound;
    }
    
    //打印音視頻的具體信息
    av_dump_format(formatCtx, 0, [path.lastPathComponent cStringUsingEncoding: NSUTF8StringEncoding], 0);
    
    _formatCtx = formatCtx;

以上代碼基本上就是確定了視頻文件的有效性,以及文件可被解碼.
接下來就是具體解碼視頻的過程,FFmpeg 解碼是根據(jù)時(shí)間來解碼出當(dāng)時(shí)的視頻圖片,所以首先我們自己寫一個(gè)定時(shí)器,然后再定時(shí)器中不斷調(diào)用解碼的函數(shù)并傳入需要解碼的時(shí)間.
FFmpeg 3.x 解碼是用 avcodec_send_packet 和 avcodec_receive_frame.

- (NSArray *) decodeFrames: (CGFloat) minDuration
{
    if (_videoStream == -1 &&
        _audioStream == -1)
        return nil;
    
    NSMutableArray *result = [NSMutableArray array];
    
    AVPacket packet;//Usually single video frame or several complete audio frames.
    
    CGFloat decodedDuration = 0;
    
    BOOL finished = NO;
    
    while (!finished) {
        
        if (av_read_frame(_formatCtx, &packet) < 0) {
            _isEOF = YES;
            break;
        }
        
        if (packet.stream_index ==_videoStream) {
            
            int errorcode = avcodec_send_packet(_videoCodecCtx, &packet);
            if (errorcode != 0) {
                break;
            }
            errorcode = avcodec_receive_frame(_videoCodecCtx, _videoFrame);
            if (errorcode != 0) {
                break;
            }
            
            lzmVideoFrame *frame = [self handleVideoFrame];
            if (frame) {
                
                [result addObject:frame];
                
                _position = frame.position;
                decodedDuration += frame.duration;
                if (decodedDuration > minDuration)
                    finished = YES;
            }  
        }     
    return result;
}

以上代碼中最關(guān)鍵的是:

 avcodec_send_packet(_videoCodecCtx, &packet);
 avcodec_receive_frame(_videoCodecCtx, _videoFrame

這段代碼能夠?qū)?_videoFrame 賦值.然后經(jīng)過我們的處理函數(shù) handleVideoFrame 將 FFmpeg 的 frame 數(shù)據(jù)轉(zhuǎn)換成我們的自定義 frame 數(shù)據(jù).