GPUImage原理
GPUImage是一個開元的基于GPU的圖片或視頻的處理框架，其本身內(nèi)置了多達120多種常見的濾鏡效果，并且支持照相機和攝像機的實時濾鏡，并且能夠自定義圖像濾鏡。
美顏的基本概念
OpenGL ES:開源嵌入式系統(tǒng)圖形的處理框架，一套圖形與硬件接口，創(chuàng)造了軟件與圖形加速間靈活強大的底層交互接口。用于把處理好的圖片顯示到屏幕上。
GPU:(圖形處理單元)手機或者電腦用于圖像處理和渲染的硬件。
GPU工作原理：CPU指定顯示器工作，顯示控制器根據(jù)CPU的控制到指定的地方去取數(shù)據(jù)和指令，目前的數(shù)據(jù)一般是從顯存里取，如果顯存里存不下，則從內(nèi)存里取，內(nèi)存也放不下，則從硬盤里取。
濾鏡處理的原理：就是把靜態(tài)圖片或者視頻的每一幀進行圖形變化后在顯示到屏幕上，其本質(zhì)就是像素點的坐標(biāo)和顏色的變化。
OpenGL ES程序處理圖片的步驟：
1.初始化OpenGL ES 環(huán)境，編譯、鏈接頂點著色器和片元著色器。
2.緩存頂點、紋理坐標(biāo)數(shù)據(jù)，傳送圖像數(shù)據(jù)到GPU
3.繪制圖元到特定的幀緩存；
4.在幀緩存去除繪制的圖像。
GPUImage基本概念
GPUImage是采用鏈式方法來處理畫面，通過addTarget方法添加對象到鏈中，處理完一個target，就會吧上一個環(huán)節(jié)處理好的圖像數(shù)據(jù)傳遞到下一個target處理，成為GPUImage處理鏈。
GPUImage的四大輸入基礎(chǔ)類，都可以作為響應(yīng)鏈的起點，這些基礎(chǔ)類會把圖像作為紋理傳給OpenGL ES處理，然后把紋理傳遞給響應(yīng)鏈的下一個target對象。
GPUImage的處理環(huán)節(jié)
source(視頻，圖片源)->filter(濾鏡)->final target(處理后的視頻、圖片)
source:
GPUImageVideoCamera 攝像頭-用于實時拍攝視頻
GPUImageStillCamera 攝像頭-用于實時拍攝照片
GPUImagePicture 用于處理已經(jīng)拍攝好的圖片
GPUImageMovie 用于處理已經(jīng)拍攝好的視頻
filter
GPUImageFilter:就是用來接收源圖像，通過自定義的頂點，片元著色器來渲染新的圖像，并在繪制完成后通知響應(yīng)鏈的下一個對象。
GPUImageFramebuffer:就是用來管理紋理緩存的格式與讀寫幀緩存的buffer。
GPUImage的filter：GPUImageFilter類或者子類，這個類繼承自GPUImageOutput,遵循GPUImageInput協(xié)議，既可以流進數(shù)據(jù)，又可以流出GPUImage的final target： GPUImageView,GPUImageMovieWriter最終輸入目標(biāo)，顯示圖片或者視頻。
解析
GPUImageVideoCamera
GPUImageVideoCamera是GPUImageOutput的子類，提供來自攝像頭的圖像數(shù)據(jù)作為源數(shù)據(jù)，一般是響應(yīng)鏈的源頭。
1.視頻圖像采集：AVCaptureSession
GPUImage使用AVFoundation框架來獲取視頻。AVCaptureSession類從AV輸入設(shè)備的采集數(shù)據(jù)到指定的輸出。
2.顏色空間：YUV
YUV是被歐洲電視系統(tǒng)索采用的一種顏色編碼方法。采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。如果只有Y信號分量而沒有U、V分量，那么這樣表示的圖像就是黑白灰度圖像，彩色電視采用YUV空間正式為了用亮度信號Y解決彩色電視機與黑白電視機的兼容問題，使黑白電視機也能接收彩色電視信號。
YUV主要用于優(yōu)化彩色視頻信號的傳輸，使其向后相容老式黑白電視。與RGB視頻信號傳輸相比，它最大的優(yōu)點在于只需占用極少的頻寬。
GPUImage中的YUV
GLProgram *yuvConversionProgram：將YUV顏色空間轉(zhuǎn)換成RGB顏色空間的GLSL。
CVPixelBufferGetPlaneCount：返回緩沖區(qū)的平面數(shù)。
CVOpenGLESTextureCacheCreateTextureFromImage()：
創(chuàng)建兩個紋理luminanceTextureRef(亮度紋理)和chrominanceTextureRef(色度紋理)。
convertYUVToRGBOutput()：把YUV顏色空間的紋理轉(zhuǎn)換成RGB顏色空間的紋理。
頂點著色器-通用kGPUImageVertexShaderString
片元著色器：
1.kGPUImageYUVFullRangeConversionForLAFragmentShaderString
- kGPUImageYUVVideoRangeConversionForLAFragmentShaderString
紋理繪制
glActiveTexture(GL_TEXTURE1);
glGenTextures(1, &_texture);
glBindTexture(GL_TEXTURE_2D, _texture);
GPUImageView是響應(yīng)鏈的終點，用于顯示GPUImage圖像
1.填充模式
GPUImageFillModeType fillMode圖像的填充模式。
sizeInPixels 像素區(qū)域的大小
recalculateViewGeometry 重新計算圖像頂點位置數(shù)據(jù)
AVMakeRectWithAspectRatioInsideRece 在保證寬高比不變的前提下，得到一個盡可能大的矩形。
28 #import ``"GPUImageBrightnessFilter.h" //亮度
29 #import ``"GPUImageExposureFilter.h" //曝光
30 #import ``"GPUImageContrastFilter.h" //對比度
31 #import ``"GPUImageSaturationFilter.h" //飽和度
32 #import ``"GPUImageGammaFilter.h" //伽馬線
33 #import ``"GPUImageColorInvertFilter.h" //反色
34 #import ``"GPUImageSepiaFilter.h" //褐色（懷舊）
35 #import ``"GPUImageLevelsFilter.h" //色階
36 #import ``"GPUImageGrayscaleFilter.h" //灰度
37 #import ``"GPUImageHistogramFilter.h" //色彩直方圖，顯示在圖片上
38 #import ``"GPUImageHistogramGenerator.h" //色彩直方圖
39 #import ``"GPUImageRGBFilter.h" //RGB
40 #import ``"GPUImageToneCurveFilter.h" //色調(diào)曲線
41 #import ``"GPUImageMonochromeFilter.h" //單色
42 #import ``"GPUImageOpacityFilter.h" //不透明度
43 #import ``"GPUImageHighlightShadowFilter.h" //提亮陰影
44 #import ``"GPUImageFalseColorFilter.h" //色彩替換（替換亮部和暗部色彩）
45 #import ``"GPUImageHueFilter.h" //色度
46 #import ``"GPUImageChromaKeyFilter.h" //色度鍵
47 #import ``"GPUImageWhiteBalanceFilter.h" //白平橫
48 #import ``"GPUImageAverageColor.h" //像素平均色值
49 #import ``"GPUImageSolidColorGenerator.h" //純色
50 #import ``"GPUImageLuminosity.h" //亮度平均
51 #import ``"GPUImageAverageLuminanceThresholdFilter.h" //像素色值亮度平均，圖像黑白（有類似漫畫效果）
52
53 #import ``"GPUImageLookupFilter.h" //lookup 色彩調(diào)整
54 #import ``"GPUImageAmatorkaFilter.h" //Amatorka lookup
55 #import ``"GPUImageMissEtikateFilter.h" //MissEtikate lookup
56 #import ``"GPUImageSoftEleganceFilter.h" //SoftElegance lookup
61 #pragma mark - 圖像處理 Handle Image
62
63 #import ``"GPUImageCrosshairGenerator.h" //十字
64 #import ``"GPUImageLineGenerator.h" //線條
65
66 #import ``"GPUImageTransformFilter.h" //形狀變化
67 #import ``"GPUImageCropFilter.h" //剪裁
68 #import ``"GPUImageSharpenFilter.h" //銳化
69 #import ``"GPUImageUnsharpMaskFilter.h" //反遮罩銳化
70
71 #import ``"GPUImageFastBlurFilter.h" //模糊
72 #import ``"GPUImageGaussianBlurFilter.h" //高斯模糊
73 #import ``"GPUImageGaussianSelectiveBlurFilter.h" //高斯模糊，選擇部分清晰
74 #import ``"GPUImageBoxBlurFilter.h" //盒狀模糊
75 #import ``"GPUImageTiltShiftFilter.h" //條紋模糊，中間清晰，上下兩端模糊
76 #import ``"GPUImageMedianFilter.h" //中間值，有種稍微模糊邊緣的效果
77 #import ``"GPUImageBilateralFilter.h" //雙邊模糊
78 #import ``"GPUImageErosionFilter.h" //侵蝕邊緣模糊，變黑白
79 #import ``"GPUImageRGBErosionFilter.h" //RGB侵蝕邊緣模糊，有色彩
80 #import ``"GPUImageDilationFilter.h" //擴展邊緣模糊，變黑白
81 #import ``"GPUImageRGBDilationFilter.h" //RGB擴展邊緣模糊，有色彩
82 #import ``"GPUImageOpeningFilter.h" //黑白色調(diào)模糊
83 #import ``"GPUImageRGBOpeningFilter.h" //彩色模糊
84 #import ``"GPUImageClosingFilter.h" //黑白色調(diào)模糊，暗色會被提亮
85 #import ``"GPUImageRGBClosingFilter.h" //彩色模糊，暗色會被提亮
86 #import ``"GPUImageLanczosResamplingFilter.h" //Lanczos重取樣，模糊效果
87 #import ``"GPUImageNonMaximumSuppressionFilter.h" //非最大抑制，只顯示亮度最高的像素，其他為黑
88 #import ``"GPUImageThresholdedNonMaximumSuppressionFilter.h" //與上相比，像素丟失更多
89
90 #import ``"GPUImageSobelEdgeDetectionFilter.h" //Sobel邊緣檢測算法(白邊，黑內(nèi)容，有點漫畫的反色效果)
91 #import ``"GPUImageCannyEdgeDetectionFilter.h" //Canny邊緣檢測算法（比上更強烈的黑白對比度）
92 #import ``"GPUImageThresholdEdgeDetectionFilter.h" //閾值邊緣檢測（效果與上差別不大）
93 #import ``"GPUImagePrewittEdgeDetectionFilter.h" //普瑞維特(Prewitt)邊緣檢測(效果與Sobel差不多，貌似更平滑)
94 #import ``"GPUImageXYDerivativeFilter.h" //XYDerivative邊緣檢測，畫面以藍色為主，綠色為邊緣，帶彩色
95 #import ``"GPUImageHarrisCornerDetectionFilter.h" //Harris角點檢測，會有綠色小十字顯示在圖片角點處
96 #import ``"GPUImageNobleCornerDetectionFilter.h" //Noble角點檢測，檢測點更多
97 #import ``"GPUImageShiTomasiFeatureDetectionFilter.h" //ShiTomasi角點檢測，與上差別不大
98 #import ``"GPUImageMotionDetector.h" //動作檢測
99 #import ``"GPUImageHoughTransformLineDetector.h" //線條檢測
100 #import ``"GPUImageParallelCoordinateLineTransformFilter.h" //平行線檢測
101
102 #import ``"GPUImageLocalBinaryPatternFilter.h" //圖像黑白化，并有大量噪點
103
104 #import ``"GPUImageLowPassFilter.h" //用于圖像加亮
105 #import ``"GPUImageHighPassFilter.h" //圖像低于某值時顯示為黑
107
108 #pragma mark - 視覺效果 Visual Effect
109
110 #import ``"GPUImageSketchFilter.h" //素描
111 #import ``"GPUImageThresholdSketchFilter.h" //閥值素描，形成有噪點的素描
112 #import ``"GPUImageToonFilter.h" //卡通效果（黑色粗線描邊）
113 #import ``"GPUImageSmoothToonFilter.h" //相比上面的效果更細膩，上面是粗曠的畫風(fēng)
114 #import ``"GPUImageKuwaharaFilter.h" //桑原(Kuwahara)濾波,水粉畫的模糊效果；處理時間比較長，慎用
115
116 #import ``"GPUImageMosaicFilter.h" //黑白馬賽克
117 #import ``"GPUImagePixellateFilter.h" //像素化
118 #import ``"GPUImagePolarPixellateFilter.h" //同心圓像素化
119 #import ``"GPUImageCrosshatchFilter.h" //交叉線陰影，形成黑白網(wǎng)狀畫面
120 #import ``"GPUImageColorPackingFilter.h" //色彩丟失，模糊（類似監(jiān)控攝像效果）
121
122 #import ``"GPUImageVignetteFilter.h" //暈影，形成黑色圓形邊緣，突出中間圖像的效果
123 #import ``"GPUImageSwirlFilter.h" //漩渦，中間形成卷曲的畫面
124 #import ``"GPUImageBulgeDistortionFilter.h" //凸起失真，魚眼效果
125 #import ``"GPUImagePinchDistortionFilter.h" //收縮失真，凹面鏡
126 #import ``"GPUImageStretchDistortionFilter.h" //伸展失真，哈哈鏡
127 #import ``"GPUImageGlassSphereFilter.h" //水晶球效果
128 #import ``"GPUImageSphereRefractionFilter.h" //球形折射，圖形倒立
129
130 #import ``"GPUImagePosterizeFilter.h" //色調(diào)分離，形成噪點效果
131 #import ``"GPUImageCGAColorspaceFilter.h" //CGA色彩濾鏡，形成黑、淺藍、紫色塊的畫面
132 #import ``"GPUImagePerlinNoiseFilter.h" //柏林噪點，花邊噪點
133 #import ``"GPUImage3x3ConvolutionFilter.h" //3x3卷積，高亮大色塊變黑，加亮邊緣、線條等
134 #import ``"GPUImageEmbossFilter.h" //浮雕效果，帶有點3d的感覺
135 #import ``"GPUImagePolkaDotFilter.h" //像素圓點花樣
136 #import ``"GPUImageHalftoneFilter.h" //點染,圖像黑白化，由黑點構(gòu)成原圖的大致圖形
137
138
139 #pragma mark - 混合模式 Blend
140
141 #import ``"GPUImageMultiplyBlendFilter.h" //通常用于創(chuàng)建陰影和深度效果
142 #import ``"GPUImageNormalBlendFilter.h" //正常
143 #import ``"GPUImageAlphaBlendFilter.h" //透明混合,通常用于在背景上應(yīng)用前景的透明度
144 #import ``"GPUImageDissolveBlendFilter.h" //溶解
145 #import ``"GPUImageOverlayBlendFilter.h" //疊加,通常用于創(chuàng)建陰影效果
146 #import ``"GPUImageDarkenBlendFilter.h" //加深混合,通常用于重疊類型
147 #import ``"GPUImageLightenBlendFilter.h" //減淡混合,通常用于重疊類型
148 #import ``"GPUImageSourceOverBlendFilter.h" //源混合
149 #import ``"GPUImageColorBurnBlendFilter.h" //色彩加深混合
150 #import ``"GPUImageColorDodgeBlendFilter.h" //色彩減淡混合
151 #import ``"GPUImageScreenBlendFilter.h" //屏幕包裹,通常用于創(chuàng)建亮點和鏡頭眩光
152 #import ``"GPUImageExclusionBlendFilter.h" //排除混合
153 #import ``"GPUImageDifferenceBlendFilter.h" //差異混合,通常用于創(chuàng)建更多變動的顏色
154 #import ``"GPUImageSubtractBlendFilter.h" //差值混合,通常用于創(chuàng)建兩個圖像之間的動畫變暗模糊效果
155 #import ``"GPUImageHardLightBlendFilter.h" //強光混合,通常用于創(chuàng)建陰影效果
156 #import ``"GPUImageSoftLightBlendFilter.h" //柔光混合
157 #import ``"GPUImageChromaKeyBlendFilter.h" //色度鍵混合
158 #import ``"GPUImageMaskFilter.h" //遮罩混合
159 #import ``"GPUImageHazeFilter.h" //朦朧加暗
160 #import ``"GPUImageLuminanceThresholdFilter.h" //亮度閾
161 #import ``"GPUImageAdaptiveThresholdFilter.h" //自適應(yīng)閾值
162 #import ``"GPUImageAddBlendFilter.h" //通常用于創(chuàng)建兩個圖像之間的動畫變亮模糊效果
163 #import ``"GPUImageDivideBlendFilter.h" //通常用于創(chuàng)建兩個圖像之間的動畫變暗模糊效果
164
