- 像素
像素的概念:
比如上面這張圖,是有很小的單元組成的，那個(gè)最小的單元就稱為像素。
- 掃描
將平面圖像的各個(gè)像素亮度，按照一定的順序轉(zhuǎn)換成電信號，一個(gè)一個(gè)傳出去，在接受端按照相同順序在同幅比平面上恢復(fù)，由于人眼有視覺惰性，我們會(huì)感覺到圖像的每個(gè)像素點(diǎn)是同時(shí)發(fā)光的。
-
彩色圖像攝取原理
讓學(xué)習(xí)成為一種習(xí)慣 電視掃描的方式
1.逐行掃描:一行跟著一行掃描
2.隔行掃描:分兩場進(jìn)行掃描，加入第一場掃描奇數(shù)行，第二場就掃描偶數(shù)行。相鄰兩場掃描光柵必須嵌套，以獲得最高清晰度.
隔行掃描的優(yōu)缺點(diǎn)分析:
優(yōu)點(diǎn)：
a.降低頻帶寬度
缺點(diǎn):
a.行間閃爍效應(yīng)
b.運(yùn)動(dòng)邊緣鋸齒化
c.并行現(xiàn)象
- 掃描的同步
同步的概念: 指發(fā)射端和接受端在同一時(shí)刻，必須掃描的幾何相同的位置。因此必須要求行同步和場同步,行同步要求掃描的起始時(shí)刻和終止時(shí)刻相同，場同步要求場掃描同頻率,每場起始時(shí)刻和終止時(shí)刻相同。
- 電視圖像的基本參數(shù)
圖像的幾何特征:
a.屏幕的比例: 4:3 \ 16:9
b.掃描的線性程度
- 電視圖像的基本參數(shù)
a.清晰度與分解力
b.圖像信號的最高頻率
c.掃描行數(shù)z
d.圖像的亮度層次
e.彩色的非線性失真
f.亮度的非線性失真
- 垂直分辨率
垂直分辨率與系統(tǒng)寬帶無關(guān),定義了系統(tǒng)解析垂直行的能力
- 水平分辨率
水平分辨率與系統(tǒng)寬帶無關(guān)，定義了系統(tǒng)解析水平行的能力
- 復(fù)合視頻信號
包括了 視頻信息和同步信息
- 信號抽樣過程
-
抽樣結(jié)構(gòu)
讓學(xué)習(xí)成為一種習(xí)慣 壓縮
CCIR-601 4:2:2 分量視頻格式標(biāo)準(zhǔn)將亮度和色度信號帶寬分別指定為5.75MHZ 和 2.75 MHZ 取樣頻率為13.5 MHZ 和 6.75 MHZ ,8bit 量化，8b/10b 編碼，數(shù)字化后，生成的總比特率為(13.5 + 6.752)810/8=270Mbit/s
19201080 ，24bit/像素 ,30 幀/3,數(shù)據(jù)率高達(dá)1.49
- 視頻信號冗余
a.圖形信息壓縮系統(tǒng)根據(jù)人類視覺特性和局限性來除視頻信號中不必要的數(shù)據(jù)成分.
b.壓縮采用這樣的事實(shí)，即相同的數(shù)據(jù)不必要重復(fù)和傳輸
c.圖像都包含大量相同的信息
d.同一圖片的寬區(qū)域內(nèi)存在數(shù)據(jù)冗余
f.在一組圖片之間也有數(shù)據(jù)冗余
g.圖像中的數(shù)字化樣本與人類視覺系統(tǒng)感覺到的不相等
h.人眼感覺不到的誤差不會(huì)影響觀眾對重現(xiàn)圖像的感知質(zhì)量
I.人類視覺系統(tǒng)會(huì)改變或者刪除一些樣本值
- 人類觀察系統(tǒng)的特性
a.高頻不易看見
b.很難發(fā)現(xiàn)紋理區(qū)域的誤差，對均勻區(qū)域的失真敏感
c.接近邊緣的誤差很難發(fā)現(xiàn)
e.可視閥值隨亮度的增加而增加，稱為光適應(yīng)
f.光區(qū)域內(nèi)的誤差更難發(fā)現(xiàn)
g.對噪聲的敏感度在高空間頻率時(shí)降低
h.50hz 下閃爍效果明顯
i.高亮度級別增加閃爍效果
j.低空間頻降低眼睛對圖像閃爍的敏感度
- 視頻數(shù)據(jù)使用的壓縮技術(shù)
MPEG-Video 圖像壓縮技術(shù)可以歸納為兩個(gè)要點(diǎn):
在空間方向上，圖像數(shù)據(jù)壓縮采用JPEG壓縮算法來去除冗余信息
時(shí)間方向上，圖像數(shù)據(jù)壓縮采用移動(dòng)補(bǔ)償去除冗余信息
無損壓縮:
哈夫曼編碼
游程編碼
有損壓縮:
樣本子抽樣
差分量脈沖編碼調(diào)制
DCT 系數(shù)的量化和VLC
- 視頻編碼
查看詳細(xì)的視頻編碼介紹請?jiān)L問視頻編碼
我們重點(diǎn)研究一下 H.26X 系列
特點(diǎn):側(cè)重網(wǎng)絡(luò)傳輸
包括:H.261、H.262、H.263、H.263+、H.263++、H.264（就是MPEG4 AVC-合作的結(jié)晶）
H.264/AVC 優(yōu)點(diǎn)
－ 高效壓縮：與H.263+和MPEG4 SP相比，減小50%比特率；
－ 延時(shí)約束方面有很好的柔韌性；
－ 容錯(cuò)能力；
－ 編/解碼的復(fù)雜性可伸縮性；
－ 解碼全部細(xì)節(jié)：沒有不匹配；
－ 高質(zhì)量應(yīng)用；
－ 網(wǎng)絡(luò)友善。
H264的網(wǎng)絡(luò)傳輸
H.264能夠在基于RTP/UDP/IP、H.323/M、MPEG-2傳輸和H.320協(xié)議的網(wǎng)絡(luò)中使用
H.264的RTP封裝參考RFC 3550，載荷類型（PT）域未作規(guī)定
編碼原理
一個(gè)圖像或者一個(gè)視頻序列進(jìn)行壓縮，產(chǎn)生碼流。
對圖像的處理即是:幀內(nèi)預(yù)測編碼
其預(yù)測值P，是由已編碼的圖像做參考，經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)玫降摹ｎA(yù)測圖像P和當(dāng)前幀F(xiàn)n相減，得到兩圖像的殘差值Dn，Dn在經(jīng)過轉(zhuǎn)換T，量化Q，去處空間冗余，得到系數(shù)X，將X重排（使數(shù)據(jù)更加緊湊），熵編碼（加入運(yùn)動(dòng)矢量，一些圖像相關(guān)得信息），得到nal數(shù)據(jù)。
對視頻序列的處理:幀間預(yù)測編碼
預(yù)測值P，是由當(dāng)前片中，己編碼的宏塊預(yù)測得到的（亮度4×4或者16×16預(yù)測，色度8×8預(yù)測）。當(dāng)前待處理的塊，減去預(yù)測值P，得殘差值Dn，Dn在經(jīng)過轉(zhuǎn)換T，量化Q，得到系數(shù)X，將X重排（使數(shù)據(jù)更加緊湊），熵編碼，得到nal數(shù)據(jù)
NAL 單元格式
NAL單元由1字節(jié)的頭，3個(gè)定長的字段和一個(gè)字節(jié)數(shù)不定的編碼段組成。
頭標(biāo)的語法：NALU類型(5bit)、重要性指示位(2bit)、禁止位(1bit)。
NALU類型：1～12由H.264使用，24～31由H.264以外的應(yīng)用使用。
重要性指示：標(biāo)志該NAL單元用于重建時(shí)的重要性，值越大，越重要。
禁止位：網(wǎng)絡(luò)發(fā)現(xiàn)NAL單元有比特錯(cuò)誤時(shí)可設(shè)置該比特為1，以便接收方丟掉該單元
|Nal頭|Rbsp|Nal頭|Rbsp|Nal頭|Rbsp|
|---|
NAL Units：
視頻數(shù)據(jù)封裝在整數(shù)字節(jié)的NALU中，它的第一個(gè)字節(jié)標(biāo)志該單元中數(shù)據(jù)的類型。H.264定義了兩種封裝格式?；诎粨Q的網(wǎng)絡(luò)（如H.323系統(tǒng)）可以使用RTP封裝格式封裝NALU。而另外一些系統(tǒng)可能要求將NALU作為順序比特流傳送，為此H.264定義了一種比特流格式的傳輸機(jī)制，使用start_code_prefix將NALU封裝起來，從而確定NAL邊界
參數(shù)集：
以往視頻編解碼標(biāo)準(zhǔn)中GOB\GOP\圖像等頭信息是至關(guān)重要的，包含這些信息的包的丟失常導(dǎo)致與這些信息相關(guān)的圖像不能解碼。為此H.264將這些很少變化并且對大量VCL NALU起作用的信息放在參數(shù)集中傳送。參數(shù)集分為兩種，即序列參數(shù)集和圖像參數(shù)集。為適應(yīng)多種網(wǎng)絡(luò)環(huán)境，參數(shù)集可以帶內(nèi)傳送，也可以采用帶外方式傳送。
序列的參數(shù)集(SPS)：包括了一個(gè)圖像序列的所有信息，
圖像的參數(shù)集(PPS)：包括了一個(gè)圖像所有片的信息。
