ffmpeg是一個(gè)非常有用的命令行程序，它可以用來(lái)轉(zhuǎn)碼媒體文件。它是領(lǐng)先的多媒體框架FFmpeg的一部分，其有很多功能，比如解碼、編碼、轉(zhuǎn)碼、混流、分離、轉(zhuǎn)化為流、過(guò)濾以及播放幾乎所有的由人和機(jī)器創(chuàng)建的媒體文件。
在這個(gè)框架中包含有各種工具，每一個(gè)用于完成特定的功能。例如，ffserver能夠?qū)⒍嗝襟w文件轉(zhuǎn)化為用于實(shí)時(shí)廣播的流，ffprobe用于分析多媒體流，ffplay可以當(dāng)作一個(gè)簡(jiǎn)易的媒體播放器，ffmpeg則能夠轉(zhuǎn)換多媒體文件格式。

FFMPEG從功能上劃分為幾個(gè)模塊，分別為核心工具（libutils）、媒體格式（libavformat）、編解碼（libavcodec）、設(shè)備（libavdevice）和后處理（libavfilter, libswscale, libpostproc），分別負(fù)責(zé)提供公用的功能函數(shù)、實(shí)現(xiàn)多媒體文件的讀包和寫(xiě)包、完成音視頻的編解碼、管理音視頻設(shè)備的操作以及進(jìn)行音視頻后處理。

libavutil是一個(gè)包含簡(jiǎn)化編程功能的庫(kù)，其中包括隨機(jī)數(shù)生成器，數(shù)據(jù)結(jié)構(gòu)，數(shù)學(xué)代碼，核心多媒體工具等更多東西。
libavcodec是一個(gè)包含音頻/視頻解碼器和編碼器的庫(kù)。
libavformat是一個(gè)包含了多媒體格式的分離器和混流器的庫(kù)。
libavdevice是一個(gè)包含輸入輸出設(shè)備的庫(kù)，用于捕捉和渲染很多來(lái)自常用的多媒體輸入/輸出軟件框架的數(shù)據(jù)，包括Video4Linux，Video4Linux2，VfW和ALSA。
libavfilter是一個(gè)包含媒體過(guò)濾器的庫(kù)。AVFilter可以給視音頻添加各種濾鏡效果?？梢越o視頻添加水印，給YUV數(shù)據(jù)加特效。
libswscale是一個(gè)用于執(zhí)行高度優(yōu)化的圖像縮放和顏色空間/像素格式轉(zhuǎn)換操作的庫(kù)。
libswresample是一個(gè)用于執(zhí)行高度優(yōu)化的音頻重采樣，重新矩陣和取樣格式轉(zhuǎn)換操作的庫(kù)。

在視頻解碼前，先了解以下幾個(gè)基本的概念：

編解碼器（CODEC）：能夠進(jìn)行視頻和音頻壓縮（CO）與解壓縮（DEC），是視頻編解碼的核心部分。
容器/多媒體文件（Container/File）：沒(méi)有了解視頻的編解碼之前，總是錯(cuò)誤的認(rèn)為平常下載的電影的文件的后綴（avi，mkv，rmvb等）就是視頻的編碼方式。事實(shí)上，剛才提到的幾種文件的后綴
并不是視頻的編碼方式，只是其封裝的方式。一個(gè)視頻文件通常有視頻數(shù)據(jù)、音頻數(shù)據(jù)以及字幕等，封裝的格式?jīng)Q定這些數(shù)據(jù)在文件中是如何的存放的，封裝在一起音頻、視頻等數(shù)據(jù)組成的多媒體文件，也可以叫做容器（其中包含了視音頻數(shù)據(jù)）。所以，只看多媒體文件的后綴名是難以知道視音頻的編碼方式的。
流數(shù)據(jù) Stream，例如視頻流（Video Stream），音頻流（Audio Stream）。流中的數(shù)據(jù)元素被稱為幀F(xiàn)rame。一個(gè)多媒體文件包含有多個(gè)流（視頻流 video stream，音頻流 audio stream，字幕等）；流是一種抽象的概念，表示一連串的數(shù)據(jù)元素；
流中的數(shù)據(jù)元素稱為幀F(xiàn)rame。

FFMPEG視頻解碼流程：
通常來(lái)說(shuō)，F(xiàn)Fmpeg的視頻解碼過(guò)程有以下幾個(gè)步驟：

1. 注冊(cè)所有容器格式及其對(duì)應(yīng)的CODEC: av_register_all()
2. 打開(kāi)文件: av_open_input_file()
3. 從文件中提取流信息: av_find_stream_info()
4. 窮舉所有的流，查找其中種類為CODEC_TYPE_VIDEO的視頻流video stream
5. 查找對(duì)應(yīng)的解碼器: avcodec_find_decoder()
6. 打開(kāi)編解碼器: avcodec_open2()
7. 為解碼幀分配內(nèi)存: avcodec_alloc_frame()
8. 不停地從碼流中提取出幀數(shù)據(jù)到Packet中: av_read_frame()
9. 判斷幀的類型，對(duì)于視頻幀調(diào)用: avcodec_decode_video2()
10. 解碼完后，釋放解碼器: avcodec_close()
11. 關(guān)閉輸入文件: avformat_close_input_file()

解碼過(guò)程的具體說(shuō)明

1. 注冊(cè)
   av_register_all該函數(shù)注冊(cè)支持的所有的文件格式（容器）及其對(duì)應(yīng)的CODEC，只需要調(diào)用一次，故一般放在main函數(shù)中。也可以注冊(cè)某個(gè)特定的容器格式，但通常來(lái)說(shuō)不需要這么做。

2. 打開(kāi)文件
   avformat_open_input該函數(shù)讀取文件的頭信息，并將其信息保存到AVFormatContext結(jié)構(gòu)體中。其調(diào)用如下

   AVFormatContext* pFormatCtx = nullptr;  
   avformat_open_input(&pFormatCtx, filenName, nullptr, nullptr)  
   

第一個(gè)參數(shù)是AVFormatContext結(jié)構(gòu)體的指針，第二個(gè)參數(shù)為文件路徑；第三個(gè)參數(shù)用來(lái)設(shè)定輸入文件的格式，如果設(shè)為null，將自動(dòng)檢測(cè)文件格式；第四個(gè)參數(shù)用來(lái)填充AVFormatContext一些字段以及Demuxer的private選項(xiàng)。
AVFormatContext包含有較多的碼流信息參數(shù)，通常由avformat_open_input創(chuàng)建并填充關(guān)鍵字段。

3. 獲取必要的CODEC參數(shù)
   avformat_open_input通過(guò)解析多媒體文件或流的頭信息及其他的輔助數(shù)據(jù)，能夠獲取到足夠多的關(guān)于文件、流和CODEC的信息，并將這些信息填充到AVFormatContext結(jié)構(gòu)體中。但任何一種多媒體格式（容器）提供的信息都是有限的，而且不同的多媒體制作軟件對(duì)頭信息的設(shè)置也不盡相同，在制作多媒體文件的時(shí)候難免會(huì)引入一些錯(cuò)誤。也就是說(shuō)，僅僅通過(guò)avformat_open_input并不能保證能夠獲取所需要的信息，所以一般要使用

   avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options)
   avformat_find_stream_info主要用來(lái)獲取必要的CODEC參數(shù)，設(shè)置到ic->streams[i]->codec。
   

在解碼的過(guò)程中，首先要獲取到各個(gè)stream所對(duì)應(yīng)的CODEC類型和id，CODEC的類型和id是兩個(gè)枚舉值，其定義如下:

   enum AVMediaType { 
      AVMEDIA_TYPE_UNKNOWN = -1,     
      AVMEDIA_TYPE_VIDEO,     
      AVMEDIA_TYPE_AUDIO,     
      AVMEDIA_TYPE_DATA, 
      AVMEDIA_TYPE_SUBTITLE,    
      AVMEDIA_TYPE_ATTACHMENT,     
      AVMEDIA_TYPE_NB
    }; 

   enum CodecID { 
     CODEC_ID_NONE,     /* video codecs */ 
     CODEC_ID_MPEG1VIDEO, 
     CODEC_ID_MPEG2VIDEO, ///< preferred ID for MPEG-1/2 video decoding     
     CODEC_ID_MPEG2VIDEO_XVMC,     
     CODEC_ID_H261,     
     CODEC_ID_H263, 
     ...
   }

通常，如果多媒體文件具有完整而正確的頭信息，通過(guò)avformat_open_input即可用獲得這兩個(gè)參數(shù)。

4. 打開(kāi)解碼器
   經(jīng)過(guò)上面的步驟，已經(jīng)將文件格式信息讀取到了AVFormatContext中，要打開(kāi)流數(shù)據(jù)相應(yīng)的CODEC需要經(jīng)過(guò)下面幾個(gè)步驟
   找到視頻流 video stream
   一個(gè)多媒體文件包含有多個(gè)原始流，例如 movie.mkv這個(gè)多媒體文件可能包含下面的流數(shù)據(jù)

   原始流 1 h.264 video
   原始流 2 aac audio for Chinese
   原始流 3 aac audio for English
   原始流 4 Chinese Subtitle
   原始流 5 English Subtitle
   

要解碼視頻，首先要在AVFormatContext包含的多個(gè)流中找到CODEC類型為AVMEDIA_TYPE_VIDEO，代碼如下：

   //查找視頻流 video stream
   int videoStream = -1;
   for (int i = 0; i < pFormatCtx->nb_streams; i++)
   {
       if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
       {
           videoStream = i;
           break;
       }
   }
   if (videoStream == -1)
       return -1; // 沒(méi)有找到視頻流video stream  

結(jié)構(gòu)體AVFormatContext中的streams字段是一個(gè)AVStream指針的數(shù)組，包含了文件所有流的描述，上述上述代碼在該數(shù)組中查找CODEC類型為
AVMEDIA_TYPE_VIDEO的流的下標(biāo)。

根據(jù)codec_id找到相應(yīng)的CODEC，并打開(kāi)結(jié)構(gòu)體AVCodecContext描述了CODEC上下文，包含了眾多CODEC所需要的參數(shù)信息。

AVCodecContext* pCodecCtxOrg = nullptr; 
AVCodec* pCodec = nullptr;
pCodecCtxOrg = pFormatCtx->streams[videoStream]->codec; // codec context
// 找到video stream的 decoder
pCodec = avcodec_find_decoder(pCodecCtxOrg->codec_id); 
// open codec
if (avcodec_open2(pCodecCtxOrg , pCodec, nullptr) < 0)
   return -1; // Could open codec  

上述代碼，首先通過(guò)codec_id找到相應(yīng)的CODEC，然后調(diào)用avcodec_open2打開(kāi)相應(yīng)的CODEC。

5. 讀取數(shù)據(jù)幀并解碼
   已經(jīng)有了相應(yīng)的解碼器，下面的工作就是將數(shù)據(jù)從流中讀出，并解碼為沒(méi)有壓縮的原始數(shù)據(jù)

   AVPacket packet; 
   while (av_read_frame(pFormatCtx, &packet) >= 0)
   {
        if (packet.stream_index == videoStream)
        {
            int frameFinished = 0;
            avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);
            if (frameFinished)
            {
                doSomething();
            }
        }
    
   } 
   

上述代碼調(diào)用av_read_frame將數(shù)據(jù)從流中讀取數(shù)據(jù)到packet中，并調(diào)用avcodec_decode_video2對(duì)讀取的數(shù)據(jù)進(jìn)行解碼。

6. 關(guān)閉
   需要關(guān)閉avformat_open_input打開(kāi)的輸入流，avcodec_open2打開(kāi)的CODEC

   avcodec_close(pCodecCtxOrg);
   avformat_close_input(&pFormatCtx);  
   

也就是說(shuō)多媒體文件中，主要有兩種數(shù)據(jù)：流Stream 及其數(shù)據(jù)元素 幀F(xiàn)rame，在FFmpeg自然有與這兩種數(shù)據(jù)相對(duì)應(yīng)的抽象：AVStream和AVPacket。
使用FFmpeg的解碼，數(shù)據(jù)的傳遞過(guò)程可歸納如下：

調(diào)用avformat_open_input打開(kāi)流，將信息填充到AVFormatContext中
調(diào)用av_read_frame從流中讀取數(shù)據(jù)幀到 AVPacket，AVPacket保存仍然是未解碼的數(shù)據(jù)。
調(diào)用avcodec_decode_video2將AVPacket的數(shù)據(jù)解碼，并將解碼后的數(shù)據(jù)填充到AVFrame中，AVFrame中保存的是解碼后的原始數(shù)據(jù)。

解碼流程.png

結(jié)構(gòu)體的存儲(chǔ)空間的分配與釋放

FFmpeg并沒(méi)有垃圾回收機(jī)制，所分配的空間都需要自己維護(hù)。而由于視頻處理過(guò)程中數(shù)據(jù)量是非常大，對(duì)于動(dòng)態(tài)內(nèi)存的使用更要謹(jǐn)慎。
本小節(jié)主要介紹解碼過(guò)程使用到的結(jié)構(gòu)體存儲(chǔ)空間的分配與釋放。

AVFormatContext 在FFmpeg中有很重要的作用，描述一個(gè)多媒體文件的構(gòu)成及其基本信息，存放了視頻編解碼過(guò)程中的大部分信息。通常該結(jié)構(gòu)體由avformat_open_input分配存儲(chǔ)空間，在最后調(diào)用avformat_input_close關(guān)閉。

AVStream 描述一個(gè)媒體流，在解碼的過(guò)程中，作為AVFormatContext的一個(gè)字段存在，不需要單獨(dú)的處理。

AVpacket 用來(lái)存放解碼之前的數(shù)據(jù)，它只是一個(gè)容器，其data成員指向?qū)嶋H的數(shù)據(jù)緩沖區(qū)，在解碼的過(guò)程中可有av_read_frame創(chuàng)建和填充AVPacket中的數(shù)據(jù)緩沖區(qū)，
當(dāng)數(shù)據(jù)緩沖區(qū)不再使用的時(shí)候可以調(diào)用av_free_apcket釋放這塊緩沖區(qū)。

AVFrame 存放從AVPacket中解碼出來(lái)的原始數(shù)據(jù)，其必須通過(guò)av_frame_alloc來(lái)創(chuàng)建，通過(guò)av_frame_free來(lái)釋放。和AVPacket類似，AVFrame中也有一塊數(shù)據(jù)緩存空間，在調(diào)用av_frame_alloc的時(shí)候并不會(huì)為這塊緩存區(qū)域分配空間，需要使用其他的方法。在解碼的過(guò)程使用了兩個(gè)AVFrame，這兩個(gè)AVFrame分配緩存空間的方法也不相同

一個(gè)AVFrame用來(lái)存放從AVPacket中解碼出來(lái)的原始數(shù)據(jù)，這個(gè)AVFrame的數(shù)據(jù)緩存空間通過(guò)調(diào)avcodec_decode_video分配和填充。
另一個(gè)AVFrame用來(lái)存放將解碼出來(lái)的原始數(shù)據(jù)變換為需要的數(shù)據(jù)格式（例如RGB，RGBA）的數(shù)據(jù)，這個(gè)AVFrame需要手動(dòng)的分配數(shù)據(jù)緩存空間。代碼如下：

     AVFrame *pFrameYUV;
     pFrameYUV = av_frame_alloc();
     // 手動(dòng)為 pFrameYUV分配數(shù)據(jù)緩存空間
     int numBytes = avpicture_get_size(AV_PIX_FMT_YUV420P,pCodecCtx->widht,pCodecCtx->width);
     uint8_t *buffer = (uint8_t*)av_malloc(numBytes * sizeof(uint8_t));
     // 將分配的數(shù)據(jù)緩存空間和AVFrame關(guān)聯(lián)起來(lái)
     avpicture_fill((AVPicture *)pFrameYUV, buffer, AV_PIX_FMT_YUV420P,pCodecCtx->width,  pCodecCtx->height)

首先計(jì)算需要緩存空間大小，調(diào)用av_malloc分配緩存空間，最后調(diào)用avpicture_fill將分配的緩存空間和AVFrame關(guān)聯(lián)起來(lái)。
調(diào)用av_frame_free來(lái)釋放AVFrame，該函數(shù)不止釋放AVFrame本身的空間，還會(huì)釋放掉包含在其內(nèi)的其他對(duì)象動(dòng)態(tài)申請(qǐng)的空間，例如上面的緩存空間。

av_malloc和av_free，F(xiàn)Fmpeg并沒(méi)有提供垃圾回收機(jī)制，所有的內(nèi)存管理都要手動(dòng)進(jìn)行。av_malloc只是在申請(qǐng)內(nèi)存空間的時(shí)候會(huì)考慮到內(nèi)存對(duì)齊（2字節(jié)，4字節(jié)對(duì)齊），
其申請(qǐng)的空間要調(diào)用av_free釋放。

調(diào)用的函數(shù)

av_register_all 這個(gè)函數(shù)不用多說(shuō)了，注冊(cè)庫(kù)所支持的容器格式及其對(duì)應(yīng)的CODEC。
avformat_open_input 打開(kāi)多媒體文件流，并讀取文件的頭，將讀取到的信息填充到AVFormatContext結(jié)構(gòu)體中。在使用結(jié)束后，要調(diào)用avformat_close_input關(guān)閉打開(kāi)的流
avformat_find_stream_info 上面提到，avformat_open_input只是讀取文件的頭來(lái)得到多媒體文件的信息，但是有些文件沒(méi)有文件頭或者文件頭的格式不正確，這就造成只調(diào)用
avformat_open_input可能得不到解碼所需要的必要信息，需要調(diào)用avformat_find_stream_info進(jìn)一步得到流的信息。

通過(guò)上面的三個(gè)函數(shù)已經(jīng)獲取了對(duì)多媒體文件進(jìn)行解碼的所需要信息，下面要做的就是根據(jù)這些信息得到相應(yīng)的解碼器。
結(jié)構(gòu)體AVCodecContext描述了編解碼器的上下文信息，包含了流中所使用的關(guān)于編解碼器的所有信息，可以通過(guò) AVFormatContext->AVStream->AVCodecContext來(lái)得到，在有了AVCodecContext后，可以通過(guò)codec_id來(lái)找到相應(yīng)的解碼器，具體代碼如下：

AVCodec* pCodec = nullptr;
pCodecCtxOrg = pFormatCtx->streams[videoStream]->codec; // codec context
// 找到video stream的 decoder
pCodec = avcodec_find_decoder(pCodecCtxOrg->codec_id);  
avcodec_find_decoder 可以通過(guò)codec_id或者名稱來(lái)找到相應(yīng)的解碼器，返回值是一個(gè)AVCodec的指針。
avcodec_open2 打開(kāi)相應(yīng)的編解碼器
av_read_frame 從流中讀取數(shù)據(jù)幀暫存到AVPacket中
avcodec_decode_video2 從AVPacket中解碼數(shù)據(jù)到AVFrame中

經(jīng)過(guò)以上的過(guò)程，AVFrame中的數(shù)據(jù)緩存中存放的就是解碼后的原始數(shù)據(jù)了。整個(gè)流程梳理如下：

解碼代碼流程.png

（1）RGB轉(zhuǎn)換成YUV

Y = 0.299R + 0.587G + 0.114B
U = 0.567(B - Y)
V = 0.713(R - Y)

值得注意的是，Y值范圍為[0, 1.0]、UV值范圍都是[-0.5, 0.5]，在Accelerate框架的vImage_CVUtilities.h有描述。

（2）YUV轉(zhuǎn)換成RGB

R = Y + 1.402V
G = Y - 0.344U - 0.714V
B = Y + 1.772U

視音頻技術(shù)主要包含以下幾點(diǎn)：封裝技術(shù)，視頻壓縮編碼技術(shù)以及音頻壓縮編碼技術(shù)。如果考慮到網(wǎng)絡(luò)傳輸?shù)脑?，還包括流媒體協(xié)議技術(shù)。

視頻播放器播放一個(gè)互聯(lián)網(wǎng)上的視頻文件，需要經(jīng)過(guò)以下幾個(gè)步驟：解協(xié)議，解封裝，解碼視音頻，視音頻同步。

解協(xié)議的作用，就是將流媒體協(xié)議的數(shù)據(jù)，解析為標(biāo)準(zhǔn)的相應(yīng)的封裝格式數(shù)據(jù)。視音頻在網(wǎng)絡(luò)上傳播的時(shí)候，常常采用各種流媒體協(xié)議，例如HTTP，RTMP，或是MMS等等。這些協(xié)議在傳輸視音頻數(shù)據(jù)的同時(shí)，也會(huì)傳輸一些信令數(shù)據(jù)。這些信令數(shù)據(jù)包括對(duì)播放的控制（播放，暫停，停止），或者對(duì)網(wǎng)絡(luò)狀態(tài)的描述等。解協(xié)議的過(guò)程中會(huì)去除掉信令數(shù)據(jù)而只保留視音頻數(shù)據(jù)。例如，采用RTMP協(xié)議傳輸?shù)臄?shù)據(jù)，經(jīng)過(guò)解協(xié)議操作后，輸出FLV格式的數(shù)據(jù)。
解封裝的作用，就是將輸入的封裝格式的數(shù)據(jù)，分離成為音頻流壓縮編碼數(shù)據(jù)和視頻流壓縮編碼數(shù)據(jù)。封裝格式種類很多，例如MP4，MKV，RMVB，TS，F(xiàn)LV，AVI等等，它的作用就是將已經(jīng)壓縮編碼的視頻數(shù)據(jù)和音頻數(shù)據(jù)按照一定的格式放到一起。例如，F(xiàn)LV格式的數(shù)據(jù)，經(jīng)過(guò)解封裝操作后，輸出H.264編碼的視頻碼流和AAC編碼的音頻碼流。
解碼的作用，就是將視頻/音頻壓縮編碼數(shù)據(jù)，解碼成為非壓縮的視頻/音頻原始數(shù)據(jù)。音頻的壓縮編碼標(biāo)準(zhǔn)包含AAC，MP3，AC-3等等，視頻的壓縮編碼標(biāo)準(zhǔn)則包含H.264，MPEG2，VC-1等等。解碼是整個(gè)系統(tǒng)中最重要也是最復(fù)雜的一個(gè)環(huán)節(jié)。通過(guò)解碼，壓縮編碼的視頻數(shù)據(jù)輸出成為非壓縮的顏色數(shù)據(jù)，例如YUV420P，RGB等等；壓縮編碼的音頻數(shù)據(jù)輸出成為非壓縮的音頻抽樣數(shù)據(jù)，例如PCM數(shù)據(jù)。
視音頻同步的作用，就是根據(jù)解封裝模塊處理過(guò)程中獲取到的參數(shù)信息，同步解碼出來(lái)的視頻和音頻數(shù)據(jù)，并將視頻音頻數(shù)據(jù)送至系統(tǒng)的顯卡和聲卡播放出來(lái)。

一般來(lái)說(shuō)，視頻同步指的是視頻和音頻同步，也就是說(shuō)播放的聲音要和當(dāng)前顯示的畫(huà)面保持一致。想象以下，看一部電影的時(shí)候只看到人物嘴動(dòng)沒(méi)有聲音傳出；或者畫(huà)面是激烈的戰(zhàn)斗場(chǎng)景，而聲音不是槍炮聲卻是人物說(shuō)話的聲音，這是非常差的一種體驗(yàn)。
在視頻流和音頻流中已包含了其以怎樣的速度播放的相關(guān)數(shù)據(jù)，視頻的幀率（Frame Rate）指示視頻一秒顯示的幀數(shù)（圖像數(shù)）；音頻的采樣率（Sample Rate）表示音頻一秒播放的樣本（Sample）的個(gè)數(shù)?？梢允褂靡陨蠑?shù)據(jù)通過(guò)簡(jiǎn)單的計(jì)算得到其在某一Frame（Sample）的播放時(shí)間，以這樣的速度音頻和視頻各自播放互不影響，在理想條件下，其應(yīng)該是同步的，不會(huì)出現(xiàn)偏差。但，理想條件是什么大家都懂得。如果用上面那種簡(jiǎn)單的計(jì)算方式，慢慢的就會(huì)出現(xiàn)音視頻不同步的情況。要不是視頻播放快了，要么是音頻播放快了，很難準(zhǔn)確的同步。這就需要一種隨著時(shí)間會(huì)線性增長(zhǎng)的量，視頻和音頻的播放速度都以該量為標(biāo)準(zhǔn)，播放快了就減慢播放速度；播放快了就加快播放的速度。所以呢，視頻和音頻的同步實(shí)際上是一個(gè)動(dòng)態(tài)的過(guò)程，同步是暫時(shí)的，不同步則是常態(tài)。以選擇的播放速度量為標(biāo)準(zhǔn)，快的等待慢的，慢的則加快速度，是一個(gè)你等我趕的過(guò)程。

播放速度標(biāo)準(zhǔn)量的的選擇一般來(lái)說(shuō)有以下三種：

將視頻同步到音頻上，就是以音頻的播放速度為基準(zhǔn)來(lái)同步視頻。視頻比音頻播放慢了，加快其播放速度；快了，則延遲播放。
將音頻同步到視頻上，就是以視頻的播放速度為基準(zhǔn)來(lái)同步音頻。
將視頻和音頻同步外部的時(shí)鐘上，選擇一個(gè)外部時(shí)鐘為基準(zhǔn)，視頻和音頻的播放速度都以該時(shí)鐘為標(biāo)準(zhǔn)。

DTS和PTS
上面提到，視頻和音頻的同步過(guò)程是一個(gè)你等我趕的過(guò)程，快了則等待，慢了就加快速度。這就需要一個(gè)量來(lái)判斷（和選擇基準(zhǔn)比較），到底是播放的快了還是慢了，或者正以同步的速度播放。在視音頻流中的包中都含有DTS和PTS，就是這樣的量（準(zhǔn)確來(lái)說(shuō)是PTS）。DTS，Decoding Time Stamp，解碼時(shí)間戳，告訴解碼器packet的解碼順序；PTS，Presentation Time Stamp，顯示時(shí)間戳，指示從packet中解碼出來(lái)的數(shù)據(jù)的顯示順序。
視音頻都是順序播放的，其解碼的順序不應(yīng)該就是其播放的順序么，為啥還要有DTS和PTS之分呢。對(duì)于音頻來(lái)說(shuō)，DTS和PTS是相同的，也就是其解碼的順序和解碼的順序是相同的，但對(duì)于視頻來(lái)說(shuō)情況就有些不同了。
視頻的編碼要比音頻復(fù)雜一些，特別的是預(yù)測(cè)編碼是視頻編碼的基本工具，這就會(huì)造成視頻的DTS和PTS的不同。這樣視頻編碼后會(huì)有三種不同類型的幀：

I幀 關(guān)鍵幀，包含了一幀的完整數(shù)據(jù)，解碼時(shí)只需要本幀的數(shù)據(jù)，不需要參考其他幀。
P幀 P是向前搜索，該幀的數(shù)據(jù)不完全的，解碼時(shí)需要參考其前一幀的數(shù)據(jù)。
B幀 B是雙向搜索，解碼這種類型的幀是最復(fù)雜，不但需要參考其一幀的數(shù)據(jù)，還需要其后一幀的數(shù)據(jù)。

I幀的解碼是最簡(jiǎn)單的，只需要本幀的數(shù)據(jù)；P幀也不是很復(fù)雜，值需要緩存上一幀的數(shù)據(jù)即可，總體來(lái)說(shuō)都是線性，其解碼順序和顯示順序是一致的。B幀就比較復(fù)雜了，需要前后兩幀的順序，并且不是線性的，也是造成了DTS和PTS的不同的“元兇”，也是在解碼后有可能得不到完整Frame的原因。（更多I,B,P幀的信息可參考）
假如一個(gè)視頻序列，要這樣顯示I B B P，但是需要在B幀之前得到P幀的信息，因此幀可能以這樣的順序來(lái)存儲(chǔ)I P B B，這樣其解碼順序和顯示的順序就不同了，這也是DTS和PTS同時(shí)存在的原因。DTS指示解碼順序，PTS指示顯示順序。所以流中可以是這樣的：

Stream : I P B B
DTS      1 2 3 4
PTS      1 4 2 3

通常來(lái)說(shuō)只有在流中含有B幀的時(shí)候，PTS和DTS才會(huì)不同。