音視頻學(xué)習(xí)從零到整(1)
音視頻學(xué)習(xí)從零到整(2)
音視頻學(xué)習(xí)從零到整(3)
音視頻學(xué)習(xí)從零到整(4)
音視頻學(xué)習(xí)從零到整(5)
音視頻學(xué)習(xí)從零到整(6)
音視頻學(xué)習(xí)從零到整(7)
音視頻編解碼處理流程,這個(gè)問題經(jīng)常是面試官拋磚引玉的問題.他們渴望能從這個(gè)流程中看到你的宏觀思考和微觀技術(shù)處理.
- 采集
- 編碼
- 解碼
- 渲染
一.解碼的思路:
- 解析數(shù)據(jù)(NALU Unit) I/P/B...
- 初始化解碼器
- 將解析后的H264 NALU Unit 輸入解碼器
- 解碼完成回調(diào),輸出解碼數(shù)據(jù)
- 解碼數(shù)據(jù)顯示(OpenGL ES)
二.解碼三個(gè)核心函數(shù):
- 創(chuàng)建session,
VTDecompressionSessionCreate - 解碼一個(gè)frame,
VTDecompressionSessionDecodeFrame - 銷毀解碼session,
VTDecompressionSessionInvalidate
三.原理分析:
- H264原始碼流-->NALU.
- I幀: 保留了一張完整視頻幀. 解碼關(guān)鍵!
- P幀: 先前參考幀.差異數(shù)據(jù).解碼需要依賴于I幀
- B幀: 雙向參考幀,解碼時(shí)既需要I幀,也需要P幀!
如果H264碼流中I幀錯(cuò)誤/丟失,就會(huì)導(dǎo)致錯(cuò)誤傳遞,P/B幀單獨(dú)是完成不了解碼工作! 花屏的現(xiàn)象產(chǎn)生. VideoToolBox硬編碼編碼H264幀.I幀! 手動(dòng)加入SPS/PPS. 解碼時(shí): 需要使用SPS/PPS數(shù)據(jù)來對(duì)解碼器進(jìn)行初始化!
四. 解碼思路:
- 解析數(shù)據(jù)
既然NALU,一個(gè)接一個(gè).實(shí)時(shí)解碼! 首先,你要對(duì)數(shù)據(jù)解析! 分析NALU數(shù)據(jù).前面4個(gè)字節(jié)是起始位!標(biāo)識(shí)一個(gè)NALU的開始! 從第5位才開始來獲取!從第五位才是NALU數(shù)據(jù)類型.
要獲取到第5位數(shù)據(jù),轉(zhuǎn)化十進(jìn)制,然后根據(jù)表格判斷它數(shù)據(jù)類型!
判斷好數(shù)據(jù)類型,才能將NALU送入解碼器.SPS/PPS獲取就可以,是不需求解碼的!
CVPixelBufferRef 保存是解碼后的數(shù)據(jù)或者未編碼前的數(shù)據(jù)
- 解碼數(shù)據(jù)
- 解碼成功后將數(shù)據(jù)通過OpenGL ES渲染到屏幕上!
