1 FFMPEG中的重要結(jié)構(gòu)體

1.1? 結(jié)構(gòu)體分類

FFMPEG中結(jié)構(gòu)體很多。最關(guān)鍵的結(jié)構(gòu)體可以分成以下幾類：

1）應(yīng)用層（提綱挈領(lǐng)）

AVFormatContext?結(jié)構(gòu)體按名字來說，應(yīng)該將其歸為封裝層，但是，從整體的架構(gòu)上來說，它是FFMPEG中提綱挈領(lǐng)的最外層結(jié)構(gòu)體，在音視頻處理過程中，該結(jié)構(gòu)體保存著所有信息。這些信息一部分由AVFormatContext的直接成員持有，另一部分由后續(xù)要介紹的這些數(shù)據(jù)結(jié)構(gòu)所持有，而這些結(jié)構(gòu)體都是AVFormatContext的直接成員或者間接成員?？偟膩碚f，AVFormatContext結(jié)構(gòu)體作用可以類比于WebRtc中的PeerConnection，但是區(qū)別在于，WebRtc是C++的接口，PeerConnection不僅持有數(shù)據(jù)(狀態(tài)信息)，而且還提供方法。而FFMPEG是C語言實現(xiàn)，AVFormatContext持有數(shù)據(jù)，方法與其是分開的。具體關(guān)于AVFormatContext結(jié)構(gòu)體的分析見FFRMPEG4.1源碼分析之 AVFormatContext。

2)? ?協(xié)議層（http, rtsp,? rtmp,? mms, file)-----I/O相關(guān)結(jié)構(gòu)體

? ? ? 協(xié)議層，處理各種協(xié)議，但我更傾向于認(rèn)為其是FFMPEG的I/O處理層，提供了資源的按字節(jié)讀寫能力。這一層的作用：一方面根據(jù)音視頻資源的URL，來識別該以什么協(xié)議來訪問該資源。本地存儲的文件？那么是file協(xié)議。網(wǎng)絡(luò)資源？是http協(xié)議？rtsp協(xié)議？rtmp協(xié)議？；另一方面識別協(xié)議后，那么可以使用協(xié)議相關(guān)的方法open資源，read資源的原始比特流，向資源中write原始比特流，在資源中seek，close資源，并提供緩沖區(qū)buffer，所有的操作就像訪問一個文件一樣。FFMPEG這層提供了這樣一個抽象，像訪問文件一樣去訪問資源，這個概念在linux系統(tǒng)中普遍存在，一切皆是文件。這一層的主要結(jié)構(gòu)體有下面三個URLProtocol，URLContext，AVIOContext，可以認(rèn)為這3個結(jié)構(gòu)體在協(xié)議層也是有上下級關(guān)系的。

URLProtocol?是這層中最底層的結(jié)構(gòu)體，持有協(xié)議訪問方法：每個協(xié)議都有其專屬的URLProtocol結(jié)構(gòu)體，在FFMPEG中以常量的形式存在，命名方式是ff_xxx_protocol，其中xxx是協(xié)議名。URLProtocol的成員函數(shù)指針族提供了上述類文件操作的所有方法，如果是網(wǎng)絡(luò)協(xié)議，那么網(wǎng)絡(luò)訪問的所有一切也被封裝在這些方法之中，可以認(rèn)為URLProtocol提供了協(xié)議的訪問方法。

URLContext?是協(xié)議上下文對象，是URLProtocol上一層的結(jié)構(gòu)體，持有協(xié)議訪問方法以及當(dāng)前訪問狀態(tài)信息：通過持有URLProtocol對象而持有協(xié)議訪問方法，并且通過持有另外一個協(xié)議相關(guān)的狀態(tài)信息結(jié)構(gòu)體來持有當(dāng)前協(xié)議訪問的狀態(tài)信息。持有狀態(tài)信息的這個結(jié)構(gòu)體名稱跟協(xié)議名相關(guān)，以Http協(xié)議為例，相應(yīng)結(jié)構(gòu)體名稱為HttpContext。注意一點：有些相關(guān)的協(xié)議會映射到同一個狀態(tài)信息的結(jié)構(gòu)體上，比如http，https，httpproxy對應(yīng)的URLProtocol結(jié)構(gòu)體為ff_http_protocol，ff_https_protocol，ff_httpproxy_protocol，但是這3個協(xié)議對應(yīng)同一個狀態(tài)信息上下文結(jié)構(gòu)體HttpContext。再比如file，pipe協(xié)議對應(yīng)的URLProtocol結(jié)構(gòu)體為ff_file_protocol，ff_pipe_protocol，二者對應(yīng)同一個狀態(tài)信息上下文結(jié)構(gòu)體FileContext。

AVIOContext?是協(xié)議層最上一層的結(jié)構(gòu)體，可以認(rèn)為是協(xié)議層的public api，提綱挈領(lǐng)的AVFormatContext通過持有AVIOContext而具備IO訪問能力。AVIOContext通過持有URLContext而持有協(xié)議訪問方法以及訪問狀態(tài)，同時內(nèi)部再提供一個讀寫緩沖區(qū)。注意是讀寫緩沖區(qū)，既可以作為讀緩沖區(qū)，也可以寫緩沖區(qū)，當(dāng)然同時只支持讀或者寫。

3)???封裝層（flv,avi,rmvb,mp4）

? ? ? 以解封裝為例，協(xié)議層提供了對資源的按字節(jié)讀寫能力，并將字節(jié)數(shù)據(jù)存儲到緩沖區(qū)中，而封裝層所起作用就是從字節(jié)流中截取一個個數(shù)據(jù)幀出來，這個數(shù)據(jù)幀以AVPacket結(jié)構(gòu)體來表示，這個數(shù)據(jù)幀可能是屬于視頻，一般是存一幀，也可能是音頻，可能對應(yīng)好幾幀音頻。這一層主要的結(jié)構(gòu)體有如下幾個：AVInputFormat，AVOutputFormat，AVFormatContext，AVFormatInternal。

AVInputFormat?存儲輸入視音頻使用的封裝格式，提供了按格式讀取數(shù)據(jù)的方法。類似于每種協(xié)議格式對應(yīng)一個URLProtocol結(jié)構(gòu)體，每種輸入視音頻封裝格式都對應(yīng)一個AVInputFormat 結(jié)構(gòu)體，在FFMPEG中以常量的形式存在，命名方式是ff_xxx_demuxer，其中xxx是封裝格式名。AVInputFormat結(jié)構(gòu)體提供了文件格式探測read_probe，讀文件頭read_header，寫數(shù)據(jù)包read_packet，讀關(guān)閉read_close等方法。注意沒有read_open，因為到這一層的時候，資源肯定是打開的。

AVOutputFormat?存儲輸出音視頻使用的封裝格式，提供了將格式化的數(shù)據(jù)轉(zhuǎn)成無差別的字節(jié)流的方法。類似于每種協(xié)議格式對應(yīng)一個URLProtocol結(jié)構(gòu)體，每種輸出視音頻封裝格式都對應(yīng)一個AVOutputFormat 結(jié)構(gòu)體，在FFMPEG中以常量的形式存在，命名方式是ff_xxx_muxer，其中xxx是封裝格式名。AVOutputFormat 結(jié)構(gòu)體提供了寫文件頭write_header，寫數(shù)據(jù)包write_packet，寫文件尾write_trailer等方法。

AVFormatInternal?是一個封裝層內(nèi)部使用的對象，提供了已讀取或者待寫入的編碼數(shù)據(jù)包AVPacket隊列等狀態(tài)信息。

AVFormatContext 是一個上下文對象，是AVOutputFormat/AVInputFormat上層結(jié)構(gòu)體，可認(rèn)為是封裝層的public api，當(dāng)然也如應(yīng)用層所述，其作用不止如此。一方面，AVFormatContext通過持有AVOutputFormat或者是AVInputFormat從而具有按格式寫數(shù)據(jù)包和按格式讀取數(shù)據(jù)包的方法；另一方面，AVFormatContext通過持有AVFormatInternal，從而持有了封裝/解封裝的過程的狀態(tài)信息。

AVPacket 是從IO層讀取字節(jié)數(shù)據(jù)后經(jīng)封裝層包裝好的編碼數(shù)據(jù)包。該結(jié)構(gòu)體存儲了編碼數(shù)據(jù)，以及描述這些數(shù)據(jù)的信息，比如pts（播放時間戳），dts（解碼時間戳），size（數(shù)據(jù)帶下），stream_index（所屬流的序號），duration（持續(xù)時間）等等。

4)? ?編解碼層（h264,mpeg2,aac,mp3）

? ? ? 以解碼為例，封裝層將數(shù)據(jù)提取成一個個AVPacket，包含了編碼后的數(shù)據(jù)包，從概念上來說，由于音視頻資源中會存在多路流，音頻流，視頻流，字幕流，用戶自定義數(shù)據(jù)流，并且每種類型的流還可以有多個。那么封裝層得到的AVPacket是其中某一路流的數(shù)據(jù)包（歸屬于哪路流在封裝層就能確定），每路流的編解碼方式都可以各不相同，因此，AVPacket需要使用其歸屬的那路流的解碼器去解碼。編解碼層就是將編碼后的數(shù)據(jù)包解碼出來成為原始音視頻數(shù)據(jù)，以AVFrame結(jié)構(gòu)體來承載解碼后的數(shù)據(jù)。原始音視頻數(shù)據(jù)可以進(jìn)一步的濾鏡處理或者直接渲染出來。主要涉及的結(jié)構(gòu)體有AVStream，AVCodecContext，AVCodec。

AVCodec?是編碼層的核心對象，也是該層中最底層的數(shù)據(jù)結(jié)構(gòu)，持有音視頻數(shù)據(jù)的編解碼方法：每一種編解碼算法都有專屬的AVCodec，編碼器的命名規(guī)則為ff_xxx_encoder，解碼器命名方式為 ff_xxx_decoder，但都是AVCodec結(jié)構(gòu)體。比如常見的AAC編碼器結(jié)構(gòu)體對象為ff_aac_encoder，其持有編碼器的init方法，encode2方法，close方法；AAC解碼器結(jié)構(gòu)體對象為ff_aac_decoder，其持有init方法，decode方法，close方法。

AVCodecContext?是編碼器上下文對象，是AVCodec上一層的結(jié)構(gòu)體，持有編解碼方法以及當(dāng)前編解碼狀態(tài)信息：通過持有AVCodec對象而持有編解碼方法，并且通過持有另外一個編解碼相關(guān)的狀態(tài)信息結(jié)構(gòu)體來持有當(dāng)前編解碼狀態(tài)信息。持有狀態(tài)信息的這個結(jié)構(gòu)體名稱跟協(xié)議名相關(guān)，以AAC編碼器為例，相應(yīng)結(jié)構(gòu)體名稱為AACEncContext；以AAC解碼器為例，相應(yīng)的結(jié)構(gòu)體名稱為AACContext。

AVStream 是編解碼層最上層的數(shù)據(jù)結(jié)構(gòu)，表征的是封裝中的一路流。其通過持有AVCodecContext對象來持有編解碼的一切。不過目前，該成員在AVStream中被聲明為deprecated，AVStream通過持有AVCodecParameters對象來獲取編解碼相關(guān)的參數(shù)。提綱挈領(lǐng)的AVFormatContext通過持有AVStream數(shù)組而持有編解碼的一切。

AVFrame 是AVPacket經(jīng)編解碼層解碼后的原始音視頻數(shù)據(jù)。該結(jié)構(gòu)存儲著原始音視頻數(shù)據(jù)，以及描述原始音視頻數(shù)據(jù)的信息，比如原始數(shù)據(jù)是音頻數(shù)據(jù)，那么必不可少的有sample_rate（采樣率），channel_layout（通道布局），format（采樣格式）等等，對于視頻數(shù)據(jù)，必不可少的有width（寬），height（高），format（像素格式），key_frame（是否關(guān)鍵幀），coded_picture_number（編碼序號），display_picture_number（顯示序號），pts（播放時間戳），注意可沒有幀率這個參數(shù)。

1.2? 結(jié)構(gòu)體之間的層次關(guān)系

他們之間的對應(yīng)關(guān)系如下所示：

?