背景

作為一個(gè)視頻模塊相關(guān)的QA，為了更好地保障視頻搭配，編輯（包括特效，元素等），保存，這樣一個(gè)流程的上線質(zhì)量，必然要對(duì)視頻相關(guān)的基礎(chǔ)知識(shí)有一定程度的了解，比如視頻導(dǎo)入需要準(zhǔn)備什么測(cè)試數(shù)據(jù)，這里面就有很多知識(shí)點(diǎn)需要學(xué)習(xí)，那么我們接下去講講QA需要了解的部分視頻基礎(chǔ)知識(shí)吧

視頻是什么

通俗地講，視頻是有一張張圖片按照先后順序組成的，在一段時(shí)間內(nèi)連續(xù)播放（這里如果是有聲的視頻，也會(huì)有音頻）
專業(yè)的講，參考：https://baike.baidu.com/item/%E8%A7%86%E9%A2%91/321962?fr=aladdin

視頻的基礎(chǔ)屬性

因?yàn)橐曨l是由圖片組成的，所以這里就會(huì)涉及到圖片的一些相關(guān)知識(shí)，比如：像素，分辨率，顏色模式，顏色深度，圖片格式等等，詳見(jiàn)：http://www.itdecent.cn/p/498dc14cd96f
本文主要介紹視頻相關(guān)的一些信息

幀，幀數(shù)，幀率

幀：上面說(shuō)到視頻是由一張張圖片組合成的，而幀就是指每一個(gè)畫面，我們平時(shí)所看到的圖片是RGB格式，視頻的幀是YUV格式
幀數(shù)：就是幀的總數(shù)量，就是有多少幀
幀率：每秒傳輸?shù)膸瑪?shù)，幀數(shù)/時(shí)間，單位為幀/每秒
備注：
幀率越大，即每秒傳輸?shù)膸瑪?shù)越多，視頻越流暢，視頻的大小也會(huì)越大；當(dāng)視頻幀率不低于24fps時(shí)，人眼才會(huì)覺(jué)得視頻時(shí)連貫的，稱為“視覺(jué)暫留”現(xiàn)象。

視頻格式

常見(jiàn)的視頻格式有：MP4、MKV、AVI等

視頻壓縮

原理
消除冗余
流程

編解碼器

視頻編碼器

從三個(gè)方面進(jìn)行編碼：時(shí)域模型，空域模型（時(shí)空），熵編碼器
時(shí)域模型
作用：消除連續(xù)幀之間的時(shí)域冗余
一般情況下相鄰兩幀之間具有比較大的相似性，時(shí)域模型通過(guò)預(yù)測(cè)幀來(lái)點(diǎn)擊時(shí)域冗余；預(yù)測(cè)器通過(guò)當(dāng)前幀之前或之后的一幀或者多幀圖像作為參考，通過(guò)運(yùn)動(dòng)補(bǔ)償算法等技術(shù)降低預(yù)測(cè)幀與當(dāng)前幀的差別
輸入：未壓縮的原始視頻流
輸出：當(dāng)前幀與預(yù)測(cè)幀詳見(jiàn)的結(jié)果（殘差圖像）和各個(gè)模型參數(shù)
補(bǔ)充：
運(yùn)動(dòng)補(bǔ)償算法：是預(yù)測(cè)圖像編碼的一種
編碼器根據(jù)過(guò)去或者將來(lái)的圖像幀產(chǎn)生當(dāng)前幀區(qū)域的預(yù)測(cè)，用當(dāng)前圖像減去預(yù)測(cè)圖像得到相應(yīng)的殘差圖像的編碼方法

空域模型
利用相鄰像素點(diǎn)的相似行，消除殘差圖像的空間冗余，編碼器對(duì)殘差圖像進(jìn)行頻域變換，再量化，得到相應(yīng)的殘差系數(shù)
輸入：殘差圖像
輸出：殘差系數(shù)
熵編碼器
對(duì)時(shí)域參數(shù)和變換系數(shù)進(jìn)行壓縮消除存在的統(tǒng)計(jì)冗余。并輸出壓縮后的比特流等屬于用于視頻傳輸和存儲(chǔ)

視頻碼率

視頻編碼引出的I幀，P幀，B幀是什么？

在H.264壓縮標(biāo)準(zhǔn)中，I幀、P幀、B幀用于表示傳輸?shù)囊曨l畫面。
I幀：英文全稱：intra-coded-picture，幀內(nèi)編碼圖像幀，俗稱關(guān)鍵幀，這一幀畫面完整地保留，不需要依賴上下幀可以獨(dú)立進(jìn)行解碼

色彩空間

視頻質(zhì)量評(píng)估

主觀感受

但是觀察者的感受會(huì)被其他東西影響，比如環(huán)境，立場(chǎng)，場(chǎng)景，注意程度，最近效應(yīng)等等

客觀評(píng)價(jià)

1、峰值降噪比（PSNR）：

全稱Peak signal-to-noise ratio，原圖像與處理圖像之間均方差相對(duì)于(2^n-1)2的對(duì)數(shù)值，其中n是每個(gè)采樣值的比特?cái)?shù)
一般取值范圍：20-40；值越大，視頻質(zhì)量越好。
缺點(diǎn)：不太能很好地反映人的主觀感受，且需要原圖進(jìn)行比對(duì)

2、結(jié)構(gòu)相似性SSIM（結(jié)構(gòu)相似性）：

全稱：Structural SIMilarity，基于樣本x和y的三個(gè)比較衡量：亮度 (luminance)、對(duì)比度 (contrast) 和結(jié)構(gòu) (structure)。一般取值范圍：0-1，值越大，視頻質(zhì)量越好。
缺點(diǎn)：計(jì)算稍復(fù)雜，
優(yōu)點(diǎn)：其值可以較好地反映人眼主觀感受。
計(jì)算參考：https://zhuanlan.zhihu.com/p/50757421