1.AVFoundation 提供的核心功能

• （1）音頻播放和記錄
• （2）媒體文件檢查
• （3）視頻播放
• （4）媒體捕捉
• （5）媒體編輯
• （6）媒體處理

2.數(shù)字媒體

采樣：要將模擬信號轉(zhuǎn)成我們能夠存儲并傳輸?shù)臄?shù)字信號，要經(jīng)過模擬-數(shù)字轉(zhuǎn)換過程，這個過程稱為采樣。
對媒體內(nèi)容進(jìn)行數(shù)字化主要有兩種方式：

• 時間采樣
  捕捉一個信號周期內(nèi)的變化。
• 空間采樣
  捕捉其亮度和色度，進(jìn)而創(chuàng)建由該圖片的像素點(diǎn)數(shù)據(jù)所構(gòu)成的數(shù)字化結(jié)果。

3.音頻&視頻采樣介紹

• 音頻信號
  振幅 代表電壓的強(qiáng)度 或者 響應(yīng)信號的強(qiáng)度。
  頻率 表示在一定周期內(nèi)振動完成循環(huán)的次數(shù)，單位是 赫茲（Hz）
  人類可以聽到的音頻范圍是20Hz - 20kHz。

音頻數(shù)字化的過程包含一個編碼方式，稱為“線性脈沖編碼調(diào)制” LPCM 或者 Linear PCM。
這個過程采樣或者測量一個固定的音頻信號的周期率稱為采樣率。

• 視頻信號
  視頻文件由一系列“幀”的圖片組成。
  一秒內(nèi)所能展現(xiàn)的幀數(shù) 稱為幀率，單位 FPS。
  
  RGB

4.數(shù)字媒體壓縮

4.1 色彩二次抽樣

YUV
Y:亮度
UV：顏色
人的眼睛對亮度的敏感度高于顏色，所以減少顏色數(shù)據(jù)，可以壓縮文件大小，這個過程稱為色彩二次抽樣。

image.png

4.2 視頻編解碼器 -- H264

H264 在空間維度和 時間維度 縮小了視頻文件的尺寸；

• 空間：壓縮獨(dú)立視頻幀，稱為幀內(nèi)壓縮。
• 時間：通過以組為單位的視頻幀壓縮冗余數(shù)據(jù)，稱為幀間壓縮。

幀內(nèi)壓縮：通過消除包含每個獨(dú)立視頻幀內(nèi)的色彩以及結(jié)構(gòu)中的冗余信息來進(jìn)行壓縮，通過這一過程創(chuàng)建的幀稱為I幀（I-frames）關(guān)鍵幀

幀間壓縮 ：一組幀（GOP）所在的時間維度的冗余可以被消除（如一組幀中固定的背景）

GOP

一組幀中存在三種類型的幀：

• I-frames：單獨(dú)的幀或關(guān)鍵幀，包含創(chuàng)建完整圖片需要的所有數(shù)據(jù)。每個GOP中有一個I-frames，它的尺寸最大，解壓最快。
• B-frames: 雙向幀，是基于使用之前和之后的幀信息進(jìn)行編碼后得到的幀。幾乎不需要存儲空間，但解壓時間長。因?yàn)橐蕾囍車渌麕?/li>
• P-frames: 預(yù)測幀 ，是基于最近I-frames或者P-frames的可預(yù)測的圖片進(jìn)行編碼得到的。

4.3 音頻編解碼器

• AAC
  高級音頻編碼是H.264標(biāo)準(zhǔn)相對應(yīng)的音頻處理方式。