1 . 音視頻處理的一般流程：
數(shù)據(jù)采集→數(shù)據(jù)編碼→數(shù)據(jù)傳輸(流媒體服務器) →解碼數(shù)據(jù)→播放顯示
1、數(shù)據(jù)采集：
攝像機及拾音器收集視頻及音頻數(shù)據(jù)，此時得到的為原始數(shù)據(jù)
涉及技術(shù)或協(xié)議：
攝像機：CCD、CMOS
拾音器：聲電轉(zhuǎn)換裝置（咪頭）、音頻放大電路
2、數(shù)據(jù)編碼：
使用相關(guān)硬件或軟件對音視頻原始數(shù)據(jù)進行編碼處理（數(shù)字化）及加工（如音視頻混合、打包封裝等），得到可用的音視頻數(shù)據(jù)
涉及技術(shù)或協(xié)議：
編碼方式：CBR、VBR
編碼格式
視頻：H.265、H.264、MPEG-4等，封裝容器有TS、MKV、AVI、MP4等
音頻：G.711μ、AAC、Opus等，封裝有MP3、OGG、AAC等
3、數(shù)據(jù)傳輸：
將編碼完成后的音視頻數(shù)據(jù)進行傳輸，早期的音視頻通過同軸電纜之類的線纜進行傳輸，IP網(wǎng)絡發(fā)展后，使用IP網(wǎng)絡優(yōu)傳輸
涉及技術(shù)或協(xié)議：
傳輸協(xié)議：RTP與RTCP、RTSP、RTMP、HTTP、HLS（HTTP Live Streaming）等
控制信令：SIP和SDP、SNMP等
4、解碼數(shù)據(jù)：
使用相關(guān)硬件或軟件對接收到的編碼后的音視頻數(shù)據(jù)進行解碼，得到可以直接顯示的圖像/聲音
涉及技術(shù)或協(xié)議：
一般對應的編碼器都會帶有相應的解碼器，也有一些第三方解碼插件等
5、播放顯示：
在顯示器（電視、監(jiān)視屏等）或揚聲器（耳機、喇叭等）里，顯示相應的圖像畫面或聲音
涉及技術(shù)或協(xié)議：
顯示器、揚聲器、3D眼鏡等
推流，就是將采集到的音頻，視頻數(shù)據(jù)通過流媒體協(xié)議發(fā)送到流媒體服務器。
現(xiàn)在直播應用，采用RTMP協(xié)議居多，也有部分使用HLS協(xié)議。
采用RTMP協(xié)議，就要看下它與流媒體服務器交互的過程，RTMP協(xié)議的默認端口是1935，采用TCP協(xié)議。并且需要了解FLV的封裝格式。
采用HLS協(xié)議，因為涉及到切片，延時會比較大，需要了解TS流。
做直播，數(shù)據(jù)的來源不可缺少，就是采集攝像頭，麥克風的數(shù)據(jù)。
iOS平臺上采集音視頻數(shù)據(jù)，需要使用AVFoundation.Framework框架，從captureSession會話的回調(diào)中獲取音頻，視頻數(shù)據(jù)。
軟編碼就是利用CPU資源來壓縮音視頻數(shù)據(jù)，硬編碼與之相反。
軟編碼的話，現(xiàn)在廣泛采用FFmpeg庫結(jié)合編碼庫來實現(xiàn)，F(xiàn)Fmpeg+X624來編碼視頻數(shù)據(jù)YUV/RGB輸出H264數(shù)據(jù)，
FFmpeg+fdk_aac來編碼音頻數(shù)據(jù)PCM輸出AAC數(shù)據(jù)。
四、根據(jù)所選流媒體協(xié)議封包音視頻數(shù)據(jù)
將音頻，視頻打包成packet。
根據(jù)所選流媒體協(xié)議，發(fā)送相應指令連接服務器，連接服務器成功后，就可以發(fā)送packet數(shù)據(jù)了。
拉流，就是從流媒體服務器獲取音頻，視頻數(shù)據(jù)。
播放器端根據(jù)URL解析所用的流媒體協(xié)議（RTMP，HLS）。
解封裝，就是demux的過程，從容器格式（FLV，TS）中，分離出音視頻數(shù)據(jù)。
解碼，就是把獲取到的數(shù)據(jù)解壓縮，恢復成原始數(shù)據(jù)。解碼就是將H264變成YUV，AAC變成PCM。
解碼可以使用軟解碼，硬解碼。
軟解碼就是利用CPU資源去解壓縮數(shù)據(jù)，采用的方式是FFmpeg解碼。
硬解碼，對于iOS平臺來說，可以使用VideoToolbox.Framework（該框架只能在iOS 8.0及以上系統(tǒng)使用）
硬解碼視頻數(shù)據(jù)。Android平臺上，可以使用MediaCodec來硬解碼視頻數(shù)據(jù)。
采用OpenGL渲染YUV數(shù)據(jù)，呈現(xiàn)視頻畫面。將PCM送入設備的硬件資源播放，產(chǎn)生聲音。
iOS播放流式音頻，使用Audio Queue 的方式，即，利用AudioToolbox.Framework 框架。
三： iOS開發(fā)之iOS直播平臺有用的第三方資源共享：
1. ?實時美顏參考網(wǎng)址：http://altitudelabs.com/blog/real-time-filter/
2. 直播測試地址：
HLS：http://live.3gv.ifeng.com/live/hongkong.m3u8鳳凰衛(wèi)視香港臺
SMTP：rtmp://live.hkstv.hk.lxdns.com/live/hks香港衛(wèi)視
RSTP：rtsp://rtsp.vdowowza.tvb.com/tvblive/mobileinews200.stream互動新聞臺1
? ? ? 3. ?HLS streaming工具下載，用于處理m3u8音、視頻源的HLS Streaming Tool Download
? ?4.?直播相關(guān)SDK
1.VideoCore在新浪云上有文檔說明，可閱讀iOS推流SDK使用文檔
2.網(wǎng)易云信直播SDK好像是收費的，價格還不便宜，一般公司可能也不會用，不過可以嘗試看看，了解一下，有助于學習！
3. 暴風云直播 ??http://www.baofengcloud.com/apisdk/sdk/live/iossdk.html
4. 融云直播 ? ??http://www.rongcloud.cn/live
5. 騰訊直播SDK ?https://www.qcloud.com/solution/video.html
? ?5. 直播相關(guān)開源庫
1.BeautifyFaceDemo基于GPUImage的圖片處理，做美顏方面可以參考一下
2.lf.swift開源RTMP Swift版的，可以學習一下！好像作者是日本的，或者是在日本工作的，寫了不少日文！
3.PLPlayerKit一個不依賴FFmpeg的播放器，支持RTMP
? ? ? ?4. ?HLS-Demo???https://github.com/yangchao0033/HLS-Demo ?HLS播放demo
?5.?SmarterStreaming??https://github.com/daniulive/SmarterStreaming
?直播SDK（支持私有協(xié)議和RTMP推流，如windows推流/android推流/iOS推流/windows播放器/android播放器/iOS播放器）
四： iOS開發(fā)之 iOS 直播平臺?常見的視頻直播相關(guān)協(xié)議詳解
1、 ? ?RTMP(Real Time Messaging Protocol，實時消息傳送協(xié)議)
RTMP是Adobe Systems公司為Flash播放器和服務器之間音頻、視頻和數(shù)據(jù)傳輸開發(fā)的開放協(xié)議。它有三種變種：
1）、工作在TCP之上的明文協(xié)議，使用端口1935；
2）、RTMPT封裝在HTTP請求之中，可穿越防火墻；
3）、RTMPS類似RTMPT，但使用的是HTTPS連接；
RTMP協(xié)議是被Flash用于對象、視頻、音頻的傳輸。這個協(xié)議建立在TCP協(xié)議或者輪詢HTTP協(xié)議之上。RTMP協(xié)議就像一個用來裝數(shù)據(jù)包的容器，這些數(shù)據(jù)既可以是AMF格式的數(shù)據(jù)，也可以是FLV中的視音頻數(shù)據(jù)。一個單一的連接可以通過不同的通道傳輸多路網(wǎng)絡流，這些通道中的包都是按照固定大小的包傳輸?shù)摹?/p>
2、RTSP(Real Time Streaming Protocol，實時流傳輸協(xié)議)
RTSP定義了一對多應用程序如何有效地通過IP網(wǎng)絡傳送多媒體數(shù)據(jù)。RTSP提供了一個可擴展框架，數(shù)據(jù)源可以包括實時數(shù)據(jù)與已有的存儲的數(shù)據(jù)。該協(xié)議目的在于控制多個數(shù)據(jù)發(fā)送連接，為選擇發(fā)送通道如UDP、組播UDP與TCP提供途徑，并為選擇基于RTP上發(fā)送機制提供方法。
RTSP語法和運作跟HTTP/1.1類似，但并不特別強調(diào)時間同步，所以比較能容忍網(wǎng)絡延遲。代理服務器的緩存功能也同樣適用于RTSP，并且因為RTSP具有重新導向功能，可根據(jù)實際負載情況來切換提供服務的服務器，以避免過大的負載集中于同一服務器而造成延遲。
3、RTP(Real-time Transport Protocol，實時傳輸協(xié)議)
RTP是針對多媒體數(shù)據(jù)流的一種傳輸層協(xié)議，詳細說明了在互聯(lián)網(wǎng)上傳遞音頻和視頻的標準數(shù)據(jù)包格式。RTP協(xié)議常用于流媒體系統(tǒng)（配合RTCP協(xié)議），視頻會議和一鍵通系統(tǒng)（配合H.323或SIP），使它成為IP電話產(chǎn)業(yè)的技術(shù)基礎。
RTP是建立在UDP協(xié)議上的，常與RTCP一起使用，其本身并沒有提供按時發(fā)送機制或其它服務質(zhì)量（QoS）保證，它依賴于低層服務去實現(xiàn)這一過程。
RTP 并不保證傳送或防止無序傳送，也不確定底層網(wǎng)絡的可靠性，只管發(fā)送，不管傳輸是否丟包，也不管接收方是否有收到包。RTP 實行有序傳送，RTP中的序列號允許接收方重組發(fā)送方的包序列，同時序列號也能用于決定適當?shù)陌恢?，如在視頻解碼中，就不需要順序解碼。
4、RTCP(Real-time Transport Control Protocol，實時傳輸控制協(xié)議）
RTCP是RTP的配套協(xié)議，為RTP媒體流提供信道外的控制。RTCP和RTP一起協(xié)作將多媒體數(shù)據(jù)打包和發(fā)送，定期在多媒體流會話參與者之間傳輸控制數(shù)據(jù)。
RTCP的主要功能是為RTP所提供的服務質(zhì)量（QoS）提供反饋，收集相關(guān)媒體連接的統(tǒng)計信息，例如傳輸字節(jié)數(shù)，傳輸分組數(shù)，丟失分組數(shù)，單向和雙向網(wǎng)絡延遲等等。網(wǎng)絡應用程序可以利用RTCP所提供的信息來提高服務質(zhì)量，比如限制流量或改用壓縮比小的編解碼器。
1.實時美顏參考網(wǎng)址：http://altitudelabs.com/blog/real-time-filter/
