1.背景
???? 前段時間由于項目需求，做了一個基于GPUImage的實時美顏濾鏡?，F(xiàn)在各種各樣的直播、視頻App層出不窮，美顏濾鏡的需求也越來越多。為了回饋開源，現(xiàn)在我把它放到了GitHub?上面，感興趣的朋友可以去下載。下面將主要介紹實現(xiàn)美顏濾鏡的原理和思路。
2.GPUImage
???? GPUImage 是一個開源的基于GPU的圖片或視頻的處理框架，其本身內(nèi)置了多達120多種常見的濾鏡效果。有了它，添加實時的濾鏡只需要簡單地添加幾行代碼。下面的例子是以攝像頭的數(shù)據(jù)為源，對其實時地進行反色的操作(類似相片底片的效果)：
? ? 其實美顏也是一樣，如果有這么一個美顏的濾鏡（姑且叫做GPUImageBeautifyFilter)，那么只需要把示例2.1中的GPUImageColorInvertFilter替換成GPUImageBeautifyFilter即可。我們只需要做一個GPUImageBeautifyFilter就能實現(xiàn)實時美顏了，問題來了，到底什么算是美顏呢？我的理解是，大家對于美顏比較常見的需求就是磨皮、美白。當然提高飽和度、提亮之類的就根據(jù)需求而定。本文將著重介紹磨皮的實現(xiàn)（實際上GPUImageBeautifyFilter也實現(xiàn)了美白、提亮等效果）。
3.磨皮
???? 磨皮的本質(zhì)實際上是模糊。而在圖像處理領(lǐng)域，模糊就是將像素點的取值與周邊的像素點取值相關(guān)聯(lián)。而我們常見的高斯模糊?，它的像素點取值則是由周邊像素點求加權(quán)平均所得，而權(quán)重系數(shù)則是像素間的距離的高斯函數(shù)，大致關(guān)系是距離越小、權(quán)重系數(shù)越大。下圖3.1是高斯模糊效果的示例:
??? 如果單單使用高斯模糊來磨皮，得到的效果是不盡人意的。原因在于，高斯模糊只考慮了像素間的距離關(guān)系，沒有考慮到像素值本身之間的差異。舉個例子來講，頭發(fā)與人臉分界處（顏色差異很大，黑色與人皮膚的顏色），如果采用高斯模糊則這個邊緣也會模糊掉，這顯然不是我們希望看到的。而雙邊濾波(Bilateral Filter)?則考慮到了顏色的差異，它的像素點取值也是周邊像素點的加權(quán)平均，而且權(quán)重也是高斯函數(shù)。不同的是，這個權(quán)重不僅與像素間距離有關(guān)，還與像素值本身的差異有關(guān)，具體講是，像素值差異越小，權(quán)重越大，也是這個特性讓它具有了保持邊緣的特性，因此它是一個很好的磨皮工具。下圖3.2是雙邊濾波的效果示例：
???? 對比3.1和3.2，雙邊濾波效果確實在人臉細節(jié)部分保留得更好，因此我采用了雙邊濾波作為磨皮的基礎(chǔ)算法。雙邊濾波在GPUImage中也有實現(xiàn)，是GPUImageBilateralFilter。
??? 根據(jù)圖3.2，可以看到圖中仍有部分人臉的細節(jié)保護得不夠，還有我們并不希望將人的頭發(fā)也模糊掉（我們只需要對皮膚進行處理）。由此延伸出來的改進思路是結(jié)合雙邊濾波，邊緣檢測以及膚色檢測。整體邏輯如下：
???? Combination? Filter是我們自己定義的三輸入的濾波器。三個輸入分別是原圖像A(x, y),雙邊濾波后的圖像B(x, y），邊緣圖像C(x, y)。其中A,B,C可以看成是圖像矩陣，(x,y)可以看成其中某一像素的坐標。Combination? Filter的處理邏輯如下圖：
???? 下面是主要的shader代碼：
???? Combination Filter通過膚色檢測和邊緣檢測，只對皮膚和非邊緣部分進行處理。下面是采用這種方式進行磨皮之后的效果圖:
???? 對比3.5與3.2，可以看到3.5對人臉細節(jié)的保護更好，同時對于面部磨皮效果也很好，給人感覺更加真實。
4.延伸
???? 我所采用的磨皮算法是基于雙邊濾波的，主要是考慮到它同時結(jié)合了像素間空間距離以及像素值本身的差異。當然也不一定要采用雙邊濾波，也有通過改進高斯模糊（結(jié)合像素值差異）來實現(xiàn)磨皮的，甚至能取得更好的效果。另外GPUImageBeautifyFilter不僅僅具有磨皮功能，也實現(xiàn)了log曲線調(diào)色，亮度、飽和度的調(diào)整，具體詳情可以參見demo?。
???
