YUV顏色空間

• 使用系統(tǒng)提供的接口獲取到的音視頻數(shù)據(jù)都保存在CMSampleBufferRef中, 使用GPUImamge獲取到的音頻數(shù)據(jù)為CMSampleBufferRef
• CMSampleBufferRef
  • 這個(gè)結(jié)構(gòu)在iOS中表示一幀音頻/視頻數(shù)據(jù)
  • 它里面包含了這一幀數(shù)據(jù)的內(nèi)容和格式, 我們可以把它的內(nèi)容取出來，提取出/轉(zhuǎn)換成 我們想要的數(shù)據(jù)
  • 代表視頻的CMSampleBufferRef中保存的數(shù)據(jù)是NV12格式的視頻幀(我們?cè)谝曨l輸出設(shè)置中將輸出格式設(shè)為：kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)
  • 代表音頻的CMSampleBufferRef中保存的數(shù)據(jù)是PCM格式的音頻幀

yuv是什么？

• 視頻是由一幀一幀的數(shù)據(jù)連接而成，而一幀視頻數(shù)據(jù)其實(shí)就是一張圖片。
• yuv是一種圖片儲(chǔ)存格式，跟RGB格式類似。
  • RGB格式的圖片很好理解，計(jì)算機(jī)中的大多數(shù)圖片，都是以RGB格式存儲(chǔ)的。
  • yuv中，y表示亮度，單獨(dú)只有y數(shù)據(jù)就可以形成一張圖片，只不過這張圖片是灰色的。u和v表示色差(u和v也被稱為：Cb－藍(lán)色差，Cr－紅色差)
• 為什么要yuv？
  • 有一定歷史原因，最早的電視信號(hào)，為了兼容黑白電視，采用的就是yuv格式。
  • 一張yuv的圖像，去掉uv，只保留y，這張圖片就是黑白的。
  • 而且yuv可以通過拋棄色差來進(jìn)行帶寬優(yōu)化。

  • 比如yuv420格式圖像相比RGB來說，要節(jié)省一半的字節(jié)大小，拋棄相鄰的色差對(duì)于人眼來說，差別不大。

    
    
    image.png

YUV顏色存儲(chǔ)格式

• 常用的I420(YUV420P),NV12(YUV420SP),YV12（YUV420P）,NV21(YUV420SP)等都是屬于YUV420，NV12是一種兩平面存儲(chǔ)方式，Y為一個(gè)平面，交錯(cuò)的UV為另一個(gè)平面
• 通常，用來遠(yuǎn)程傳輸?shù)氖荌420數(shù)據(jù)，而本地?cái)z像頭采集的是NV12數(shù)據(jù)。（iOS）
• 所有在真正編碼的過程中, 需要將NV12數(shù)據(jù)轉(zhuǎn)成I420數(shù)據(jù)進(jìn)行編碼