一、文件格式

1.視頻文件格式

常見的視頻文件格式：mpeg、avi、wmv、mov等，文件格式通常表現(xiàn)為文件在操作系統(tǒng)上存儲(chǔ)時(shí)的后綴名，用來(lái)與相應(yīng)的應(yīng)用程序進(jìn)行關(guān)聯(lián)

2.視頻封裝格式

視頻封裝格式，相當(dāng)于一種存儲(chǔ)視頻信息的容器，包含封裝視頻文件需要的視頻信息、音頻信息和相關(guān)的配置信息(比如視頻和音頻的關(guān)聯(lián)信息、解碼方式等)。
一種視頻封裝格式對(duì)應(yīng)響應(yīng)的視頻文件格式，常見的封裝格式如下圖。

視頻封裝格式

3.容器

將已經(jīng)編碼壓縮好的視頻數(shù)據(jù)和音頻數(shù)據(jù) 按照一定格式放在一個(gè)文件中。這個(gè)文件可以稱為容器。
容器不僅僅存放音頻、視頻數(shù)據(jù)，還會(huì)存放視頻同步的元數(shù)據(jù)，字幕等信息。在傳輸和存儲(chǔ)的時(shí)候，這些多種數(shù)據(jù)都是被綁定在一起的。
常見的視頻容器格式：

• AVI:
• mov:Quicktime封裝
• wmv：微軟推出的
• mkv：萬(wàn)能封裝器，有良好的兼容和跨平臺(tái)性、糾錯(cuò)性，可帶外掛字幕
• flv：可以很好地保護(hù)原始地址，不容易被下載
• mp4：主要應(yīng)用于mpeg4的封裝，主要在手機(jī)上使用

二、視頻編解碼方式

1.概念

視頻編解碼過(guò)程就是對(duì)數(shù)字視頻進(jìn)行壓縮或解壓縮的過(guò)程
視頻編解碼需要考慮的因素：
視頻的質(zhì)量
碼率：用來(lái)表示視頻所需要的數(shù)據(jù)量
編解碼算法的復(fù)雜度
針對(duì)數(shù)據(jù)丟失和錯(cuò)誤的魯棒性
編輯的方便性
隨機(jī)訪問(wèn)
端到端的延時(shí)以及其它一些因素

2.常見視頻編碼方式

• H.26X系列：包括H.261 H.262 H.263 H.264 H.265
  • H.264 等同于MPEG-4第十部分，也被稱為高級(jí)視頻編碼(Advanced Video Coding，簡(jiǎn)稱AVC)，是一種廣泛使用的高精度視頻的錄制、壓縮和發(fā)布格式。
• MPEG系列 由國(guó)際標(biāo)準(zhǔn)組織機(jī)構(gòu)下屬的運(yùn)動(dòng)圖像專家組開發(fā)

• MPEG-4 第二部分：可以用于網(wǎng)絡(luò)傳輸、廣播和媒體存儲(chǔ)上。比之前版本壓縮性能較高
• MPEG-4 第十部分，等同于H.264

3.視頻編解碼方式和視頻封裝的關(guān)系

一種視頻封裝格式可以支持多種視頻編解碼方式，比如.mov支持幾乎所有的視頻編解碼方式，.MP4也支持相當(dāng)廣的視頻編解碼方式
可以用A/B的方式，表示一個(gè)視頻的編解碼方式和封裝格式，比如一個(gè)H.264/MOV的視頻文件，它的封裝方式是QuickTime File Format，編碼方式是H.264

三、音頻編解碼方式

在視頻中常用的音頻編解碼方式：

• AAC : Advanced Audio Coding，在1997年推出的基于MPEG-2的音頻編碼技術(shù)。2000年，MPEG-4標(biāo)準(zhǔn)出現(xiàn)之后，AAC重新集成了其特性，加入了SBR技術(shù)和PS技術(shù)，為了區(qū)別于傳統(tǒng)的MPEG-2 AAC ，又稱為MPEG-4 AAC
• MP3 ：MPEG-1 or MPEG-2 Audio Layer ||| ，當(dāng)時(shí)非常流行的一種數(shù)字音頻編碼有損壓縮模式，它被設(shè)計(jì)來(lái)大幅度降低音頻數(shù)據(jù)量
• WMA ： Windows Media Audio ，由微軟公司開發(fā)的一種數(shù)字音頻壓縮格式，本身包括有損和無(wú)損壓縮格式

四、直播/小視頻中的編解碼方式

• 視頻編碼格式
  • H264
    優(yōu)點(diǎn)：低碼率、高質(zhì)量的圖像、容錯(cuò)能力強(qiáng)、網(wǎng)絡(luò)適應(yīng)性強(qiáng)
    最大的優(yōu)勢(shì)是，具有很高的數(shù)據(jù)壓縮比率，在同等圖像質(zhì)量下，H264的壓縮比是MPEG-2的2倍以上，是MEPG-4的1.5~2倍
• 音頻編碼格式
  • AAC
    是目前比較熱門的有損壓縮編碼技術(shù)，并且衍生出LC-AAC、HE-AAC、HE-AAC v2三種主要的編碼格式
    • LC-AAC 是比較傳統(tǒng)的AAC ，主要應(yīng)用于中高碼率的場(chǎng)景（>=80kbit/s）
    • HE-AAC 主要應(yīng)用于低碼率場(chǎng)景的編碼（<=48kbit/s）
  • 優(yōu)勢(shì)：在小于128kbit/s的碼率下表現(xiàn)優(yōu)異，并且多用于視頻中的音頻編碼

五、YUV顏色模型

1.介紹

平時(shí)開發(fā)場(chǎng)景中使用最多的是RGB模型，表示一個(gè)顏色需要三個(gè)數(shù)字，則需要24bits的空間
YUV是電視系統(tǒng)常用的顏色模型，它利用了人類視覺對(duì)亮度的敏感度比色度敏感度高的特點(diǎn)設(shè)計(jì)的。YUV將亮度信息從色度信息中分離出來(lái)，并且對(duì)同一幀圖像的亮度和色度采用了不同的采樣率，亮度信息Y與色度信息U/V相互獨(dú)立
現(xiàn)在的YUV是通常用于計(jì)算機(jī)領(lǐng)域來(lái)表示使用YCbCr編碼的文件，所以YUV又可以稱為YCbCr
可以用含有RGB的表達(dá)式來(lái)表示：
Y = kr*R + kg*G + kb*B
Y即亮度，kr、kg、kb即R、G、B的權(quán)重值

3.YUV常見格式

根據(jù)采樣方式可以分為：

• YUV4:4:4
  YUV三個(gè)分量具有相同的水平和垂直解析度
• YUV4:2:2
  YUV三個(gè)分量具有相同的水平和垂直解析度，但是在水平方向上，UV兩個(gè)分量的解析度是Y的一半，即每4個(gè)亮度分量樣本值，對(duì)應(yīng)有2個(gè)U和2個(gè)V色度分量樣本值。所以表示一個(gè)顏色所需空間比RGB模型少了三分之一
• YUV4:2:0
  在水平方向上和垂直方向上，UV兩個(gè)分量的解析度是Y的一半，即每4個(gè)亮度分量樣本值，對(duì)應(yīng)有1個(gè)U和1個(gè)V色度分量樣本值
  • NV12 和 NV21都屬于YUV420