計算機(jī)視覺，按字面上理解，就是計算機(jī)上用來處理人眼觀測的技術(shù)。對于IOS而言，可以簡單理解為在屏幕上繪制的技術(shù)。

對IOS App開發(fā)而言，在手機(jī)屏幕上展示的是一個個UIView，而大多數(shù)同學(xué)了解UIView的繪制是通過CALayer來完成的。我們平時使用的繪制API都是基于這套系統(tǒng)的。但是，對于硬件而言，圖片實際上是通過GPU計算出渲染數(shù)據(jù)，通過顯卡在屏幕上渲染像素。

對一般的App而言，CALayer提供的Api足以處理視覺上的需求，但是對游戲開發(fā)，視頻開發(fā)而言，手機(jī)屏幕上很少能展示規(guī)則的圖形，而且其UI變化率遠(yuǎn)高于普通App。這時我們就需要操作底層繪制組件來進(jìn)行自己的繪制。

OpenGL, OpenGL ES, Metal

OpenGL（Open Graphics Library）是一個跨編程語言、跨平臺的編程圖形程序接口，它將計算機(jī)的資源抽象稱為一個個OpenGL的對象，對這些資源的操作抽象為一個個的OpenGL指令。

OpenGL ES（OpenGL for Embedded Systems）是 OpenGL 三維圖形 API 的子集，針對手機(jī)、PDA和游戲主機(jī)等嵌入式設(shè)備而設(shè)計，去除了許多不必要和性能較低的API接口。

Metal 是一個是蘋果出品類似的面向底層的圖形編程接口，可以直接操作GPU；支持iOS和OS X，提供圖形渲染和通用計算能力。蘋果在ios 13上已經(jīng)不再提供OpenGL ESKit，使用Metal來替換。

OpenGL

上下文（Context）

上下文Context在Android，UIGraphicsRenderer上都有應(yīng)用，其意義是指執(zhí)行代碼的容器。對OpenGL而言，Context是指一個OpenGL狀態(tài)機(jī)，在執(zhí)行渲染、變換等視覺操作之前，需要先初始化這個容器狀態(tài)機(jī)。這里要注意的是，OpenGL Context十分復(fù)雜，像UIGraphicsRenderer那樣，每次繪制圖片創(chuàng)建一個上下文不太合適，在實際應(yīng)用中，系統(tǒng)可能在啟動時初始化許多Context備用。

渲染管線

渲染管線也稱為渲染流水線或像素流水線或像素管線，顯示芯片內(nèi)部處理圖形信號相互獨立的的并行處理單元。在實際應(yīng)用中，渲染管線大致可以理解為渲染的步驟：

image.png

首先，我們以數(shù)組的形式傳遞3個3D坐標(biāo)作為圖形渲染管線的輸入，用來表示一個三角形，這個數(shù)組叫做頂點數(shù)據(jù)(Vertex Data)；頂點數(shù)據(jù)是一系列頂點的集合。
當(dāng)其存儲在內(nèi)存時，稱為頂點數(shù)組；而其存儲在顯存時，則稱為頂點緩存
一個頂點(Vertex)是一個3D坐標(biāo)的數(shù)據(jù)的集合。而頂點數(shù)據(jù)是用頂點屬性(Vertex Attribute)表示的，它可以包含任何我們想用的數(shù)據(jù)，但是簡單起見，我們還是假定每個頂點只由一個3D位置(譯注1)和一些顏色值組成的吧。

1，頂點著色器

它把一個單獨的頂點作為輸入。頂點著色器主要的目的是把3D坐標(biāo)轉(zhuǎn)為另一種3D坐標(biāo)（后面會解釋），同時頂點著色器允許我們對頂點屬性進(jìn)行一些基本處理。

2，圖元裝配階段

將頂點著色器輸出的所有頂點作為輸入（如果是GL_POINTS，那么就是一個頂點），并所有的點裝配成指定圖元的形狀；

3，幾何著色器

圖元裝配階段的輸出會傳遞給幾何著色器(Geometry Shader)。幾何著色器把圖元形式的一系列頂點的集合作為輸入，它可以通過產(chǎn)生新頂點構(gòu)造出新的（或是其它的）圖元來生成其他形狀。

4，光柵化階段

幾何著色器的輸出會被傳入光柵化階段(Rasterization Stage)，這里它會把圖元映射為最終屏幕上相應(yīng)的像素，生成供片段著色器(Fragment Shader)使用的片段(Fragment)。在片段著色器運行之前會執(zhí)行裁切(Clipping)。裁切會丟棄超出你的視圖以外的所有像素，用來提升執(zhí)行效率。

5，片段著色器

片段著色器的主要目的是計算一個像素的最終顏色，這也是所有OpenGL高級效果產(chǎn)生的地方。通常，片段著色器包含3D場景的數(shù)據(jù)（比如光照、陰影、光的顏色等等），這些數(shù)據(jù)可以被用來計算最終像素的顏色。

6，測試與混合

在所有對應(yīng)顏色值確定以后，最終的對象將會被傳到最后一個階段，我們叫做Alpha測試和混合(Blending)階段。這個階段檢測片段的對應(yīng)的深度（和模板(Stencil)）值（后面會講），用它們來判斷這個像素是其它物體的前面還是后面，決定是否應(yīng)該丟棄。這個階段也會檢查alpha值（alpha值定義了一個物體的透明度）并對物體進(jìn)行混合(Blend)。所以，即使在片段著色器中計算出來了一個像素輸出的顏色，在渲染多個三角形的時候最后的像素顏色也可能完全不同。

固定管線與可編程管線

固定管線，也可稱為可配置管線，其中的繪制渲染的算法不可配置，只能根據(jù)提供的Api進(jìn)行配置。
可編程管線中，渲染算法是由傳入的著色器程序shader來決定的。

著色器程序shader

Shader其實就是一段代碼，這段代碼的作用是告訴GPU具體怎樣去繪制模型的每一個頂點的顏色以及最終每一個像素點的顏色。
Shader是一段代碼，那必然要用一種語言來書寫它，目前主流的有三種語言：
1）基于OpenGL的OpenGL Shading Language，簡稱GLSL。
2）基于DirectX的High Level Shading Language,簡稱HLSL。
3）基于C的C for Graphic，簡稱Cg語言
根據(jù)上面中提到的著色器流程，Shader有以下幾種：
1）頂點著色器
圖形有幾個頂點執(zhí)行有幾次，用于處理理圖形每個頂點變換(旋轉(zhuǎn)/平移/投影等），坐標(biāo)系變換。
2）幾何著色器
幾何著色器能夠產(chǎn)生0個以上的基礎(chǔ)圖元，它能起到一定的裁剪作用、同時也能產(chǎn)生比頂點著色器輸入更多的基礎(chǔ)圖元。
3）(像素)片段著色器
用于繪制圖形中每一個像素點。

渲染/交換緩沖區(qū)(SwapBuffer)

幀緩沖區(qū)(顯存)：是由像素組成的二維數(shù)組，每一個存儲單元對應(yīng)屏幕上的一個像素，整個幀緩沖對應(yīng)一幀圖像即當(dāng)前屏幕畫面。

值得注意的是，如果每個窗?口只有?一個緩沖區(qū)，那么在繪制過程中屏幕進(jìn)?行行了了刷新，窗?口可能顯 示出不不完整的圖像。因此引入了交換緩沖區(qū)。

常規(guī)的OpenGL程序?至少都會有兩個緩沖區(qū)。顯示在屏幕上的稱為屏幕緩沖區(qū)，沒有顯示的稱為離屏緩沖區(qū)。在一個緩沖區(qū)渲染完成之后，通過將屏幕緩沖區(qū)和離屏緩沖區(qū)交換，實現(xiàn)圖像 在屏幕上的顯示。交換一般會等待顯示器器刷新完成的信號，在顯示器器兩次刷新的間隔中進(jìn)?行行交換，這個信 號就被稱為垂直同步信號，這個技術(shù)被稱為垂直同步。