作者：CC老師_HelloCoder
原文地址：http://www.itdecent.cn/p/c99ce47f4280

音視頻編解碼處理流程,這個問題經(jīng)常是面試官拋磚引玉的問題.他們渴望能從這個流程中看到你的宏觀思考和微觀技術(shù)處理.

• 采集
• 編碼
• 解碼
• 渲染

一.解碼的思路:

• 解析數(shù)據(jù)(NALU Unit) I/P/B...
• 初始化解碼器
• 將解析后的H264 NALU Unit 輸入解碼器
• 解碼完成回調(diào),輸出解碼數(shù)據(jù)
• 解碼數(shù)據(jù)顯示(OpenGL ES)

二.解碼三個核心函數(shù):

創(chuàng)建session, VTDecompressionSessionCreate

解碼一個frame, VTDecompressionSessionDecodeFrame

銷毀解碼session,VTDecompressionSessionInvalidate

三.原理分析:

• H264原始碼流-->NALU.
  I幀: 保留了一張完整視頻幀. 解碼關(guān)鍵!
  P幀: 先前參考幀.差異數(shù)據(jù).解碼需要依賴于I幀
  B幀: 雙向參考幀,解碼時既需要I幀,也需要P幀!

如果H264碼流中I幀錯誤/丟失,就會導(dǎo)致錯誤傳遞,P/B幀單獨(dú)是完成不了解碼工作! 花屏的現(xiàn)象產(chǎn)生. VideoToolBox硬編碼編碼H264幀.I幀! 手動加入SPS/PPS. 解碼時: 需要使用SPS/PPS數(shù)據(jù)來對解碼器進(jìn)行初始化!

四. 解碼思路:

解析數(shù)據(jù)

既然NALU,一個接一個.實(shí)時解碼! 首先,你要對數(shù)據(jù)解析! 分析NALU數(shù)據(jù).前面4個字節(jié)是起始位!標(biāo)識一個NALU的開始! 從第5位才開始來獲取!從第五位才是NALU數(shù)據(jù)類型.
要獲取到第5位數(shù)據(jù),轉(zhuǎn)化十進(jìn)制,然后根據(jù)表格判斷它數(shù)據(jù)類型!
判斷好數(shù)據(jù)類型,才能將NALU送入解碼器.SPS/PPS獲取就可以,是不需求解碼的!
CVPixelBufferRef 保存是解碼后的數(shù)據(jù)或者未編碼前的數(shù)據(jù)

解碼數(shù)據(jù)
解碼成功后將數(shù)據(jù)通過OpenGL ES渲染到屏幕上!