音視頻之基礎(chǔ)+渲染流程

常用圖形API簡介:

OpenGL(Open Graphics Library)是一個跨編程語言、跨平臺的編程圖形程序接口,它將計算機(jī)的資源抽象稱一個個OpenGL的對象,對這些資源的操作抽象為一個個的OpenGL指令。
OpenGL ES(OpenGL for Embedded Systems)是OpenGL三維圖形API的子集,針對手機(jī)PDA和游戲機(jī)等嵌入式設(shè)備而設(shè)計,去除了許多不必要和性能低的API的接口。
DirectX 是由很多API組成的,DirectX并不是一個單純的圖形API,最重要的是DirectX是屬于Windows上一個多媒體處理API,并不支持Windows以外的平臺,所以不是跨平臺的框架,按照性質(zhì)分類??梢苑譃樗拇蟛糠郑猴@示部分、聲音部分、輸入部分和網(wǎng)絡(luò)部分。
Metal :Metal :Apple為游戲開發(fā)者退出了新的平臺技術(shù)Metal,該技術(shù)能夠?yàn)?D圖像提高10倍的渲染性。Metal是Apple為解決3D渲染而推出的框架

OpenGL / OpenGL ES /Metal在任何項(xiàng)目中解決問題的本質(zhì)就是利用GPU芯片來高效渲染圖形圖像,圖形API是iOS開發(fā)唯一接近GPU的方式

  • OpenGL上下文【context】
    1.在應(yīng)用程序調(diào)用任何OpenGL的指令之前,需要安排首先創(chuàng)建一個OpenGL的上下文。這個上下文是一個非常龐大的狀態(tài)機(jī),保存了OpenGL中的各種狀態(tài),這也是OpenGL指令執(zhí)行的基礎(chǔ)。
    2.OpenGL的函數(shù)不管在哪個語言中,都是類似C語言一樣的面向過程的函數(shù),本質(zhì)是都是對OpenGL上下文這個龐大的狀態(tài)機(jī)中的某個狀態(tài)或者對象進(jìn)行操作,當(dāng)然你得首先把這個對象設(shè)置為當(dāng)前對象。因此,通過對OpenGL指令的封裝,是可以將OpenGL的相關(guān)封裝成為一個面向?qū)ο蟮膱D形API
    3.由于OpenGL上下文是個龐大的狀態(tài)機(jī),切換上下文往往會產(chǎn)生比較大的開銷,但是不同的繪制模塊,可能需要使用完全獨(dú)立的狀態(tài)管理。因此,可以在應(yīng)用程序中分別創(chuàng)建多個不同的上下文,在不同的線程中使用不同的上下文,上下文之間共享紋理、緩沖區(qū)等資源。這樣的方案,會比反復(fù)切換上下文或者大量修改渲染狀態(tài),更加合理高效。

  • OpenGL狀態(tài)機(jī)
    狀態(tài)機(jī)是理論上的一種機(jī)器。狀態(tài)機(jī)描述了一個對象在其生命周期內(nèi)所經(jīng)歷的各種狀態(tài),狀態(tài)間的轉(zhuǎn)變,發(fā)生轉(zhuǎn)變的動因,條件及轉(zhuǎn)變中所執(zhí)行的活動。或者說,狀態(tài)機(jī)是一種行為,說明對象在其生命周期中響應(yīng)事件所經(jīng)歷的狀態(tài)序列以及對那些狀態(tài)事件的響應(yīng)
    有記憶功能,能記住其當(dāng)前的狀態(tài)
    可以接收輸入,根據(jù)輸入的內(nèi)容和自己原先狀態(tài),修改當(dāng)前自己狀態(tài),并且可以有對應(yīng)輸出
    當(dāng)進(jìn)入特殊狀態(tài)(停機(jī)狀態(tài))的時候,便不在接收輸入,停止工作
    類推到OpenGL中,可以理解為:
    OpenGL可以記錄自己的狀態(tài)(如當(dāng)前所使用的顏色、是否開啟了混合功能等)
    OpenGL可以接收輸入(當(dāng)調(diào)用OpenGL函數(shù)的時候,實(shí)際上可以看成OpenGL在接收我們的輸入),如我們調(diào)用glColor3f,則OpenGL接收到這個輸入后會修改自己“當(dāng)前顏色”這個狀態(tài)
    OpenGL可以進(jìn)入停止?fàn)顟B(tài),不再接收輸入,在程序退出前,OpenGL總會先停止工作的
    渲染--> 將圖像、圖形數(shù)據(jù)轉(zhuǎn)換成3D空間圖像操作叫做渲染(Rendering)

  • 頂點(diǎn)數(shù)組【VertexArray】
    畫圖一般是先畫好圖像的骨架,然后再往骨架里面填充顏色,這對于OpenGL也一樣。頂點(diǎn)數(shù)據(jù)就是要畫的圖像的骨架,和現(xiàn)實(shí)中不同的是,OpenGL中的圖像都是由圖元組成。在OpenGL中,有3中類型的圖元:點(diǎn)、線、三角形這些頂點(diǎn)數(shù)據(jù)最終存儲在哪里呢?開發(fā)者可以選擇設(shè)定函數(shù)指針,在調(diào)用繪制方法的時候,直接由內(nèi)存?zhèn)魅腠旤c(diǎn)數(shù)據(jù),也就是說這部分?jǐn)?shù)據(jù)之前是存儲在內(nèi)存中的,被稱為頂點(diǎn)數(shù)組。
    頂點(diǎn)指的是我們在繪制一個圖形時,它的頂點(diǎn)位置數(shù)據(jù),而這個數(shù)據(jù)可以直接存儲在數(shù)組中或者將其緩存到GPU內(nèi)存中

  • 和頂點(diǎn)緩沖區(qū)【VertexBuffer】
    而性能更高的做法是,提前分配一塊顯存,將頂點(diǎn)數(shù)據(jù)預(yù)先傳入到顯存當(dāng)中。這部分的顯存,就被稱為頂點(diǎn)緩沖區(qū)

  • 管線
    在OpenGL下渲染圖形,就會有經(jīng)歷一個一個節(jié)點(diǎn)。而這樣的操作可以理解管線。類似于流水線,任務(wù)之間有先后順序,管線是一個抽象的概念,之所以稱之為管線是因?yàn)轱@卡在處理數(shù)據(jù)的時候是按照一個固定的順序來的,而且嚴(yán)格按照這個順序

  • 固定管線/存儲著色器
    在早起的OpenGL版本,它封裝了很多種著色器程序塊內(nèi)置一段包含了光照、坐標(biāo)轉(zhuǎn)換、裁剪等等諸多功能的固定shader程序來完成,來幫助開發(fā)者完成圖形的渲染,開發(fā)者只需傳入相應(yīng)的參數(shù),就能快速完成圖形的渲染。類似于iOS開發(fā)者會封裝很多API,而我們只需要調(diào)用。就可以說實(shí)現(xiàn)功能,不需要關(guān)注底層的實(shí)現(xiàn)原理。
    但是OpenGL的使用場景非常豐富,固定管線或存儲著色器無法完成每一個業(yè)務(wù),這時將相關(guān)部分開放成可編程

  • 著色器程序Shader
    就全面的將固定渲染管線架構(gòu)變?yōu)榱丝删幊啼秩竟芫€。因此,OpenGL在實(shí)際調(diào)用繪制函數(shù)之前,還需要制定一個由shader編譯成的著色器程序。常見的著色器主要有頂點(diǎn)著色器(VertexShader)、片段著色器(FragmentShader)/像素著色器(PixelShader)、幾何著色器(GeometryShader)、曲面細(xì)分著色器(TessellatiionShader)。片段著色器和像素著色器只是在OpenGL和DX中的不同叫法而已。OpenGL3.0 依然只支持頂點(diǎn)著色器和片段著色器這兩個最基礎(chǔ)的著色器。
    OpenGL在處理shader時,和其他編譯器一樣。通過編譯、鏈接等步驟,生成了著色器程序(glProgram),著色器程序同時包含了頂點(diǎn)著色器和片段著色器的運(yùn)算邏輯。在OpenGL進(jìn)行繪制的時候,首先由頂點(diǎn)著色器對傳入的頂點(diǎn)數(shù)據(jù)進(jìn)行運(yùn)算,再通過圖元裝配,將頂點(diǎn)轉(zhuǎn)換為圖元,然后進(jìn)行光柵化,將圖元這種矢量圖形、轉(zhuǎn)換為柵格化數(shù)據(jù)。最后將柵格化數(shù)據(jù)傳入片段著色器中進(jìn)行運(yùn)算。片段著色器會對柵格化數(shù)據(jù)中的每一個像素進(jìn)行運(yùn)算,并決定像素的顏色。

  • 頂點(diǎn)著色器VertexShader
    一般用來處理圖形每個頂點(diǎn)變換【旋轉(zhuǎn)、平移、投影】
    頂點(diǎn)著色器是OpenGL中用于計算頂點(diǎn)屬性的程序。頂點(diǎn)著色器是逐個頂點(diǎn)運(yùn)算的程序,也就是說每個頂點(diǎn)數(shù)據(jù)都會執(zhí)行一次頂點(diǎn)著色器,當(dāng)然這是并行的,并且頂點(diǎn)著色器運(yùn)算時無法訪問其他頂點(diǎn)數(shù)據(jù)
    一般來說典型的需要計算的頂點(diǎn)屬性包括頂點(diǎn)左邊變換、逐個頂點(diǎn)關(guān)照運(yùn)算等。頂點(diǎn)坐標(biāo)由自身坐標(biāo)系轉(zhuǎn)換到歸一化坐標(biāo)器的運(yùn)算,就是在這里發(fā)生的。

  • 片元著色器程序FragmentShader
    用來處理圖形中每個像素點(diǎn)顏色計算和填充
    片元著色器是OpenGL中用于計算片段(像素)顏色的程序。片段著色器是這個像素運(yùn)算,也就是說每個像素都會執(zhí)行一次片段著色器,并行執(zhí)行。

  • GGSL(OpenGL Shading Language)
    OpenGL著色語言(OpenGL Shading Language)是用來在OpenGL中著色編程的語言,也即是開發(fā)寫的短小自定義程序,他們是在圖形卡的GPU(Graphic Progcessor Unit圖形處理單元)上執(zhí)行的,代替了固定的渲染管線的一部分,使得渲染管線中不同層次具有可編程性。比如:試圖轉(zhuǎn)換、投影轉(zhuǎn)換等。GLSL(GL Shading Language)的著色器代碼分成兩個部分:Vertex Shader(頂點(diǎn)著色器)Fragment(片段著色器)

  • 光柵化Rasterization
    把頂點(diǎn)數(shù)據(jù)轉(zhuǎn)換為片元的過程,具有將圖轉(zhuǎn)化為一個個柵格組成的圖像的作用,特點(diǎn)是每個元素對應(yīng)幀緩沖區(qū)的一個像素。光柵化就是把頂點(diǎn)數(shù)據(jù)轉(zhuǎn)換為片元的過程,片元中的每一個元素對應(yīng)于幀緩沖區(qū)的一個像素。
    光柵化其實(shí)是一種將幾何圖元變?yōu)槎S圖像的過程。該過程包含了兩個部分的工作。一:決定窗口坐標(biāo)中的哪些整形柵格區(qū)域被基本圖元占用;二:分配一個顏色值和一個深度值到各個區(qū)域。光柵化過程產(chǎn)生的是片元
    把物體的數(shù)學(xué)描述以及物體相關(guān)的顏色信息轉(zhuǎn)換為屏幕上用于對應(yīng)位置的像素及用于填充像素的顏色。這個過程被稱為光柵化,這是一個將模擬信號轉(zhuǎn)化為離散信號的過程。

  • 紋理
    紋理可以理解為圖片。大家在渲染圖形時需要在其編碼填充圖片,為了使得場景更加逼真。而這里使用的圖片,就是常說的紋理。但是在OpenGL,我們習(xí)慣叫紋理,而不是圖片

  • 混合(Blending)
    在測試階段之后,如果像像素依然沒有被剔除,那么像素的顏色將和幀緩沖區(qū)中的顏色附著上的顏色進(jìn)行混合,混合的算法可以通過OpenGL的函數(shù)進(jìn)行指定。但是OpenGL提供的混合算法是有限的,如果需要更加復(fù)雜的混合算法,一般可以通過像素著色器進(jìn)行實(shí)現(xiàn),當(dāng)然性能會比原生的混合算法差一些。

  • 變換矩陣
    圖形發(fā)生平移、縮放、旋轉(zhuǎn)就需要使用變換矩陣實(shí)現(xiàn)

  • 投影矩陣
    用于將3D坐標(biāo)轉(zhuǎn)換為二維屏幕坐標(biāo),實(shí)際線條也將在二維坐標(biāo)下繪制

  • 渲染上屏、交換緩沖區(qū)
    渲染緩沖區(qū)一般映射的是系統(tǒng)的資源:比如窗口,將圖像直接渲染到窗口對應(yīng)的緩沖區(qū),則可以將圖像顯示到屏幕上,但是值得注意的是,如果每個窗口只有一個緩沖區(qū),那么在繪制的過程中屏幕進(jìn)行了刷新,窗口可能顯示不完成圖像?
    怎么辦???
    常規(guī)的OpenGL程序至少會有兩個緩沖區(qū),顯示在屏幕上的成為屏幕緩沖區(qū),沒有顯示的成為離屏緩沖區(qū)。在一個緩沖區(qū)渲染完成后,通過將屏幕緩沖區(qū)和離屏緩沖區(qū)交換,實(shí)現(xiàn)圖像在屏幕上顯示,由于顯示器的刷新是逐行進(jìn)行的,因此為了防止交換緩沖區(qū)的時候,屏幕上下區(qū)域的圖像分屬于兩個不同的幀,因此交換一般會等待顯示器刷新完成的信號,在顯示器刷新的間隔中進(jìn)行交換,這個信號就垂直同步信號,使用雙緩沖區(qū)和垂直同步技術(shù)后,由于總要等待緩沖區(qū)交換后再進(jìn)行下一幀的渲染,是的幀率無法完全達(dá)到硬件允許的最高水平,為了解決這個問題,引入三緩沖區(qū)技術(shù),在等待垂直同步時,來回交替渲染兩個離屏的緩沖區(qū),而垂直同步發(fā)生時,屏幕緩沖區(qū)和最近渲染完成的離屏緩沖區(qū)進(jìn)行交換,實(shí)現(xiàn)充分利用硬件性能的目的

  • 渲染流程

    1. GPU獲取圖片的左邊
    2. 將坐標(biāo)交給頂點(diǎn)著色器(頂點(diǎn)計算)
    3. 將圖片光柵化(獲取圖片對應(yīng)屏幕上的像素點(diǎn))
    4. 片元著色器計算(計算每個像素點(diǎn)的最終顯示的顏色值)
    5. 從幀緩沖區(qū)渲染到屏幕上
      渲染管線
      9082112B468F3CDF5FDB5529C9233925.png
  • 下面代碼就展示一個加載圖片的優(yōu)化:

//  Created by 隨風(fēng)流年 
//  Copyright ? 2019 隨風(fēng)流年. All rights reserved.
//

#import "ViewController.h"
#import <CoreLocation/CoreLocation.h>

@interface ViewController ()
@property (nonatomic, weak) UIImageView *imageView;
@end

@implementation ViewController

- (void)viewDidLoad {
    [super viewDidLoad];

    [self image];

}
- (void)image{
    UIImageView *imageView = [[UIImageView alloc]init];
    imageView.frame = CGRectMake(100, 100, 100, 100);
    [self.view addSubview:imageView];
    self.imageView = imageView;
    dispatch_async(dispatch_get_global_queue(0, 0), ^{
        //獲取CGImage
        CGImageRef cgImage = [UIImage imageNamed:@"img"].CGImage;
        
        // alphaInfo
        CGImageAlphaInfo alphaInfo = CGImageGetAlphaInfo(cgImage) & kCGBitmapAlphaInfoMask;
        BOOL hasAlpha = NO;
        if (alphaInfo == kCGImageAlphaPremultipliedLast ||
            alphaInfo == kCGImageAlphaPremultipliedFirst ||
            alphaInfo == kCGImageAlphaLast ||
            alphaInfo == kCGImageAlphaFirst) {
            hasAlpha = YES;
        }
        //bitmapInfo
        CGBitmapInfo bitmapInfo = kCGBitmapByteOrder32Host;
        bitmapInfo |= hasAlpha ? kCGImageAlphaPremultipliedFirst : kCGImageAlphaNoneSkipFirst;
        //size
        size_t width = CGImageGetWidth(cgImage);
        size_t height = CGImageGetHeight(cgImage);
        
        //context
        CGContextRef context = CGBitmapContextCreate(NULL, width, height, 8, 0, CGColorSpaceCreateDeviceRGB(), bitmapInfo);
        //draw
        CGContextDrawImage(context, CGRectMake(0, 0, width, height), cgImage);
        //get CGImage
        cgImage = CGBitmapContextCreateImage(context);
        //into UIImage
        UIImage *newImage = [UIImage imageWithCGImage:cgImage];
        //release
        CGContextRelease(context);
        CGImageRelease(cgImage);
        
        //back to main thread
        dispatch_async(dispatch_get_main_queue(), ^{
            self.imageView.image = newImage;
        });
        
    });
}
  • 它接受一個原始的位圖參數(shù)cgImage,最終返回一個新的解壓縮后的位圖newImage 中間經(jīng)過一下三個步驟:
  • 使用CGBitmapContextCreate函數(shù)創(chuàng)建一個位圖上下文
  • 使用CGContextDrawImage函數(shù)將原始位圖繪制到上下文中
  • 使用CGBitmapContextCreateImage創(chuàng)建一張新的解壓縮后的位圖
    事實(shí)上,SDWebImage中對圖片的解壓縮過程與上述完全一致,只是傳遞給CGBitmapContextCreate函數(shù)的部分參數(shù)存在細(xì)微差別
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容