為什么進(jìn)行壓縮編碼?

• 視頻是由一幀幀的圖像組成(見實(shí)例)

  • 比如一張Gif圖片其實(shí)就可以被分解成若干張單獨(dú)的圖片

    
    
    image.png

• 分別出的圖片

  
  
  image.png

• 未經(jīng)壓縮的視頻的數(shù)據(jù)量巨大

  • 比如:錄音一分鐘視頻, 需要多大的空間來保存了?
  • 1> 為了不讓用戶感受到卡頓效果, 1秒鐘之內(nèi)至少需要16幀畫面(正常開發(fā)通常會(huì)采集30幀)
  • 2> 假如該視頻是一個(gè)1280*720分辨率的視頻(正常情況下會(huì)比這個(gè)大很多)
  • 結(jié)果:128072016*60≈843.75M
  • 如果幀率更高、分辨率更高、加上音頻，那么一分鐘的視頻是多大呢？

• 結(jié)論：

  • 不經(jīng)過壓縮編碼的視頻，根本沒辦法保存，更何況網(wǎng)絡(luò)中的傳輸
  • 視頻錄制完成后，要先編碼，再傳輸，在解碼，再播放（重現(xiàn)）

為什么視頻可以壓縮編碼？

• 存在冗余信息

  • 空間冗余：圖像相鄰像素之間有較強(qiáng)的相關(guān)性
  • 時(shí)間冗余：視頻序列的相鄰圖像之間內(nèi)容相似
  • 視覺冗余：人的視覺系統(tǒng)對某些細(xì)節(jié)不敏感
  • 等等冗余信息

• 空間冗余

  • 空間冗余是指在同一張圖像中，有很多像素點(diǎn)表示的信息是完全一樣的
  • 如果對每一個(gè)像素進(jìn)行單獨(dú)的存儲(chǔ)，必然會(huì)非常浪費(fèi)空間，也完全沒有必要

  • 如圖：

    
    
    image.png

• 時(shí)間冗余

• 時(shí)間冗余是指多張圖像之間，有非常多的相關(guān)性，由于一些小運(yùn)動(dòng)造成了細(xì)小差別

• 如果對每張圖像進(jìn)行單獨(dú)的像素存儲(chǔ)，在下一張圖片中又出現(xiàn)了相同的。那么相當(dāng)于很多像素都存儲(chǔ)了多份，必然會(huì)非常浪費(fèi)空間，也是完全沒有必要的

• 如圖：

  
  
  image.png

• 視覺冗余

  • 人類視覺系統(tǒng)HVS
  • 對高頻信息不敏感
  • 對高對比度更敏感
  • 對亮度信息比色度信息更敏感
  • 對運(yùn)動(dòng)的信息更敏感

• 數(shù)字視頻系統(tǒng)的設(shè)計(jì)應(yīng)該考慮HVS的特點(diǎn)：

  • 丟棄高頻信息，只編碼低頻信息
  • 提高邊緣信息的主觀質(zhì)量
  • 降低色度的解析度
  • 對感興趣區(qū)域（Region of Interesting，ROI）進(jìn)行特殊處理

• 如圖：

  
  
  image.png

• 結(jié)論：

  • 經(jīng)過一系列的去處冗余信息，可以大大的降低視頻的數(shù)據(jù)量
  • 更利于視頻的保存、傳輸
  • 去除冗余信息的過程，我們就稱之為壓縮編碼

壓縮編碼的標(biāo)準(zhǔn)

• 為什么需要視頻壓縮編碼標(biāo)準(zhǔn)
  • 目前，我們已經(jīng)非常清楚，視頻在存儲(chǔ)&傳輸過程中，存在非常多的冗余信息，我們需要去除這些冗余信息
  • 但是，如果每個(gè)人按照自己的方式去編碼，那么當(dāng)我們需要還原原始數(shù)據(jù)時(shí)，很難知道對方是如何編碼的
  • 比如：某主播在斗魚采用iPhone手機(jī)進(jìn)行直播，手機(jī)錄制了主播大量的畫面，為了便于傳輸，需要程序?qū)σ曨l進(jìn)行壓縮編碼，但是他想當(dāng)然的按照自己的某種算法進(jìn)行了壓縮，并且將數(shù)據(jù)傳遞給了服務(wù)器，服務(wù)器拿到數(shù)據(jù)之后，進(jìn)行數(shù)據(jù)分發(fā)給了各個(gè)客戶端：Android、iOS、Win、Web、Mac等等客戶端，這個(gè)時(shí)候每個(gè)客戶端需要知道對方的壓縮算法，才能將數(shù)據(jù)進(jìn)行還原，但是因?yàn)楫?dāng)時(shí)客戶端是想當(dāng)然的就行壓縮編碼的，并且也不能保證他的方式效率，而且有一點(diǎn)誤差可能會(huì)造成畫面無法還原的后果。
  • 因此，視頻編碼必須制定一個(gè)大家都認(rèn)同的標(biāo)準(zhǔn)
• 標(biāo)準(zhǔn)化組織：
  • ITU：International Telecommunications Union VECG：Video Coding Experts Group（國際電傳視訊聯(lián)盟）
  • ISO：International Standards Organization MPEG：Motion Picture Experts Group（國際標(biāo)準(zhǔn)組織機(jī)構(gòu)）
• H.26X系列（由ITU[國際電傳視訊聯(lián)盟]主導(dǎo)）
  • H.261：主要在老的視頻會(huì)議和視頻電話產(chǎn)品中使用
  • H.263：主要用在視頻會(huì)議、視頻電話和網(wǎng)絡(luò)視頻上
  • H.264：H.264/MPEG-4第十部分，或稱AVC（Advanced Video Coding，高級視頻編碼），是一種視頻壓縮標(biāo)準(zhǔn)，一種被廣泛使用的高精度視頻的錄制、壓縮和發(fā)布格式。
  • H.265：高效率視頻編碼（High Efficiency Video Coding，簡稱HEVC）是一種視頻壓縮標(biāo)準(zhǔn)，H.264/MPEG-4 AVC的繼任者。可支持4K分辨率甚至到超高畫質(zhì)電視，最高分辨率可達(dá)到8192×4320（8K分辨率），這是目前發(fā)展的趨勢，尚未有大眾化編碼軟件出現(xiàn)
• MPEG系列（由ISO[國際標(biāo)準(zhǔn)組織機(jī)構(gòu)]下屬的MPEG[運(yùn)動(dòng)圖象專家組]開發(fā)）
  • MPEG-1第二部分：MPEG-1第二部分主要使用在VCD上，有些在線視頻也使用這種格式
  • MPEG-2第二部分（MPEG-2第二部分等同于H.262，使用在DVD、SVCD和大多數(shù)數(shù)字視頻廣播系統(tǒng)中
  • MPEG-4第二部分（MPEG-4第二部分標(biāo)準(zhǔn)可以使用在網(wǎng)絡(luò)傳輸、廣播和媒體存儲(chǔ)上。 *
• 其他系列：
  • AMV · AVS · Bink · RealVideo · Theora · VC-1 · VP3 · VP6 · VP7 · VP8 · VP9 · WMV

編碼的常見流程

• 在進(jìn)行當(dāng)前信號(hào)編碼時(shí)，編碼器首先會(huì)產(chǎn)生對當(dāng)前信號(hào)做預(yù)測的信號(hào)，稱作預(yù)測信號(hào)（predicted signal）
• 預(yù)測的方式：
  • 時(shí)間上的預(yù)測（interprediction），亦即使用先前幀的信號(hào)做預(yù)測
    +空間上的預(yù)測 （intra prediction），亦即使用同一張幀之中相鄰像素的信號(hào)做預(yù)測
  • 得到預(yù)測信號(hào)后，編碼器會(huì)將當(dāng)前信號(hào)與預(yù)測信號(hào)相減得到殘余信號(hào)（residual signal），并只對殘余信號(hào)進(jìn)行編碼
  • 如此一來，可以去除一部份時(shí)間上或是空間上的冗余信息
• 編碼器并不會(huì)直接對殘余信號(hào)進(jìn)行編碼，而是先將殘余信號(hào)經(jīng)過變換（通常為離散余弦變換）然后量化以進(jìn)一步去除空間上和感知上的冗余信息
• 量化后得到的量化系數(shù)會(huì)再透過熵編碼，去除統(tǒng)計(jì)上的冗余信息

目前應(yīng)用最廣泛的H.264（AVC）

• H264是新一代的編碼標(biāo)準(zhǔn)，以高壓縮高質(zhì)量和支持多種網(wǎng)絡(luò)的流媒體傳輸著稱
• 個(gè)人理解：
  • 在相鄰幾幅圖像畫面中，一般有差別的像素只有10%以內(nèi)的點(diǎn),亮度差值變化不超過2%，而色度差值的變化只有1%以內(nèi)
  • 所以對于一段變化不大圖像畫面，我們可以先編碼出一個(gè)完整的圖像幀A，隨后的B幀就不編碼全部圖像，只寫入與A幀的差別，這樣B幀的大小就只有完整幀的1/10或更?。?/li>
  • B幀之后的C幀如果變化不大，我們可以繼續(xù)以參考B的方式編碼C幀，這樣循環(huán)下去。
  • 這段圖像我們稱為一個(gè)序列：序列就是有相同特點(diǎn)的一段數(shù)據(jù)
  • 當(dāng)某個(gè)圖像與之前的圖像變化很大，無法參考前面的幀來生成，那我們就結(jié)束上一個(gè)序列，開始下一段序列
  • 也就是對這個(gè)圖像生成一個(gè)完整幀A1，隨后的圖像就參考A1生成，只寫入與A1的差別內(nèi)容。
• 在H264協(xié)議里定義了三種幀
  • I幀：完整編碼的幀叫I幀
  • P幀：參考之前的I幀生成的只包含差異部分編碼的幀叫P幀
  • B幀：參考前后的幀編碼的幀叫B幀
• H264采用的核心算法是幀內(nèi)壓縮和幀間壓縮
  幀內(nèi)壓縮是生成I幀的算法
  幀間壓縮是生成B幀和P幀的算法
• H264的壓縮方法:
  • 分組:把幾幀圖像分為一組(GOP，也就是一個(gè)序列),為防止運(yùn)動(dòng)變化,幀數(shù)不宜取多
  • 定義幀:將每組內(nèi)各幀圖像定義為三種類型,即I幀、B幀和P幀;
  • 預(yù)測幀:以I幀做為基礎(chǔ)幀,以I幀預(yù)測P幀,再由I幀和P幀預(yù)測B幀;
  • 數(shù)據(jù)傳輸:最后將I幀數(shù)據(jù)與預(yù)測的差值信息進(jìn)行存儲(chǔ)和傳輸。
• 序列(GOP)
• 在H264中圖像以序列為單位進(jìn)行組織，一個(gè)序列是一段圖像編碼后的數(shù)據(jù)流。
• 一個(gè)序列的第一個(gè)圖像叫做 IDR 圖像（立即刷新圖像），IDR 圖像都是 I 幀圖像。
  • H.264 引入 IDR 圖像是為了解碼的重同步，當(dāng)解碼器解碼到 IDR 圖像時(shí)，立即將參考幀隊(duì)列清空，將已解碼的數(shù)據(jù)全部輸出或拋棄，重新查找參數(shù)集，開始一個(gè)新的序列。
  • 這樣，如果前一個(gè)序列出現(xiàn)重大錯(cuò)誤，在這里可以獲得重新同步的機(jī)會(huì)。
  • IDR圖像之后的圖像永遠(yuǎn)不會(huì)使用IDR之前的圖像的數(shù)據(jù)來解碼。
• 一個(gè)序列就是一段內(nèi)容差異不太大的圖像編碼后生成的一串?dāng)?shù)據(jù)流
  • 當(dāng)運(yùn)動(dòng)變化比較少時(shí)，一個(gè)序列可以很長，因?yàn)檫\(yùn)動(dòng)變化少就代表圖像畫面的內(nèi)容變動(dòng)很小，所以就可以編一個(gè)I幀，然后一直P幀、B幀了。
  • 當(dāng)運(yùn)動(dòng)變化多時(shí)，可能一個(gè)序列就比較短了，比如就包含一個(gè)I幀和3、4個(gè)P幀。
• 在視頻編碼序列中，GOP即Group of picture（圖像組），指兩個(gè)I幀之間的距離

• I幀、P幀、B幀的預(yù)測方向

  
  
  image.png

• I幀、P幀、B幀實(shí)際順序&編碼后順序

  
  
  image.png
  
  
  image.png

H264分層設(shè)計(jì)

• 分層設(shè)計(jì)
  • H264算法在概念上分為兩層：視頻編碼層（VCL：Video Coding Layer）負(fù)責(zé) 高效的視頻內(nèi)容表示，網(wǎng)絡(luò)提取層（NAL：Network Abstraction Layer）負(fù)責(zé)以網(wǎng)絡(luò)所要求的恰當(dāng)?shù)姆绞綄?shù)據(jù)進(jìn)行打包和傳送。
  • 這樣，高效編碼和網(wǎng)絡(luò)友好性分別由VCL和NAL分別完成
  • 而之前我們學(xué)習(xí)的編碼方式，都是屬于VCL層
• NAL設(shè)計(jì)目的：
  • 根據(jù)不同的網(wǎng)絡(luò)把數(shù)據(jù)打包成相應(yīng)的格式，將VCL產(chǎn)生的比特字符串適配到各種各樣的網(wǎng)絡(luò)和多元環(huán)境中。
• NAL的封裝方式：
  • NAL是將每一幀數(shù)據(jù)寫入到一個(gè)NAL單元中，進(jìn)行傳輸或存儲(chǔ)的
  • NALU分為NAL頭和NAL體
  • NALU頭通常為00 00 00 01，作為一個(gè)新的NALU的起始標(biāo)識(shí)
  • NALU體封裝著VCL編碼后的信息或者其他信息
• 封裝過程：
  • I幀、P幀、B幀都是被封裝成一個(gè)或者多個(gè)NALU進(jìn)行傳輸或者存儲(chǔ)的
  • I幀開始之前也有非VCL的NAL單元，用于保存其他信息，比如：PPS、SPS
  • PPS（Picture Parameter Sets）：圖像參數(shù)集
  • SPS（Sequence Parameter Set）：序列參數(shù)集

  • 在實(shí)際的H264數(shù)據(jù)幀中，往往幀前面帶有00 00 00 01 或 00 00 01分隔符，一般來說編碼器編出的首幀數(shù)據(jù)為PPS與SPS，接著為I幀，后續(xù)是B幀、P幀等數(shù)據(jù)

    
    
    image.png

編碼方式

• 編碼的方式有兩種：
  • 硬編碼：使用非CPU進(jìn)行編碼，如顯卡GPU、專用的DSP、FPGA、ASIC芯片等
  • 軟編碼：使用CPU進(jìn)行編碼，軟編碼通常使用：ffmpeg+x264
  • ffmpeg：是一套開源的、用于對音視頻進(jìn)行編碼&解碼&轉(zhuǎn)化計(jì)算機(jī)程序
  • x264：x264是一種免費(fèi)的、開源的、具有更優(yōu)秀算法的H.264/MPEG-4 AVC視頻壓縮編碼方式
• 對比：（沒有對比就沒有傷害）
  • 軟編碼：實(shí)現(xiàn)直接、簡單，參數(shù)調(diào)整方便，升級易，但CPU負(fù)載重，性能較硬編碼低
  • 性能高，對CPU沒有壓力，但是對其他硬件要求較高（如GPU等）
• iOS中編碼方式：
  • 在iOS8之前，蘋果并沒有開放硬編碼的接口，所以只能采用ffpeng+x624進(jìn)行軟編碼
  • 在iOS8之后，蘋果開放了接口，并且封裝了VideoToolBox&AudioToolbox兩個(gè)框架，分別用于對視頻&音頻進(jìn)行硬編碼