參考資料：

• 圖像卷積與濾波的一些知識(shí)點(diǎn)
• 圖像處理基本概念——卷積，濾波，平滑

1.卷積的基本概念

首先，我們有一個(gè)二維的濾波器矩陣（有個(gè)高大上的名字叫卷積核）和一個(gè)要處理的二維圖像。然后，對(duì)于圖像的每一個(gè)像素點(diǎn)，計(jì)算它的鄰域像素和濾波器矩陣的對(duì)應(yīng)元素的乘積，然后加起來，作為該像素位置的值。這樣就完成了濾波過程。
注意：卷積和協(xié)相關(guān)的差別是，卷積需要先對(duì)濾波矩陣進(jìn)行180的翻轉(zhuǎn)，但如果矩陣是對(duì)稱的，那么兩者就沒有什么差別了。

濾波操作示意圖

對(duì)于濾波器，也有一定的規(guī)則要求：

1. 濾波器的大小應(yīng)該是奇數(shù)，這樣它才有一個(gè)中心，例如3x3，5x5或者7x7。有中心了，也有了半徑的稱呼，例如5x5大小的核的半徑就是2。
2. 濾波器矩陣所有的元素之和應(yīng)該要等于1，這是為了保證濾波前后圖像的亮度保持不變。當(dāng)然了，這不是硬性要求了。
3. 如果濾波器矩陣所有元素之和大于1，那么濾波后的圖像就會(huì)比原圖像更亮，反之，如果小于1，那么得到的圖像就會(huì)變暗。如果和為0，圖像不會(huì)變黑，但也會(huì)非常暗。
4. 對(duì)于濾波后的結(jié)構(gòu)，可能會(huì)出現(xiàn)負(fù)數(shù)或者大于255的數(shù)值。對(duì)這種情況，我們將他們直接截?cái)嗟?和255之間即可。對(duì)于負(fù)數(shù)，也可以取絕對(duì)值。

2.各個(gè)卷積核的使用效果

2.1 啥也不做

啥也不做的卷積核示例

2.2 圖像銳化濾波器（Sharpness Filter）

圖像的銳化和邊緣檢測(cè)很像，首先找到邊緣，然后把邊緣加到原來的圖像上面，這樣就強(qiáng)化了圖像的邊緣，使圖像看起來更加銳利了。這兩者操作統(tǒng)一起來就是銳化濾波器了，也就是在邊緣檢測(cè)濾波器的基礎(chǔ)上，再在中心的位置加1，這樣濾波后的圖像就會(huì)和原始的圖像具有同樣的亮度了，但是會(huì)更加銳利。

我們把核加大，就可以得到更加精細(xì)的銳化效果

主要是強(qiáng)調(diào)圖像的細(xì)節(jié)。最簡(jiǎn)單的3x3的銳化濾波器如下：

實(shí)際上是計(jì)算當(dāng)前點(diǎn)和周圍點(diǎn)的差別，然后將這個(gè)差別加到原來的位置上。另外，中間點(diǎn)的權(quán)值要比所有的權(quán)值和大于1，意味著這個(gè)像素要保持原來的值。

2.3 邊緣檢測(cè)（Edge Detection）

我們要找水平的邊緣。需要注意的是，這里矩陣的元素和是0，所以濾波后的圖像會(huì)很暗（數(shù)字圖像中，255對(duì)應(yīng)純白，0對(duì)應(yīng)純黑），只有邊緣的地方是有亮度的。

2.4 浮雕（Embossing Filter）

簡(jiǎn)單看一下實(shí)現(xiàn)浮雕效果所使用的卷積核：
浮雕濾波器可以給圖像一種3D陰影的效果。只要將中心一邊的像素減去另一邊的像素就可以了。這時(shí)候，像素值有可能是負(fù)數(shù)，我們將負(fù)數(shù)當(dāng)成陰影，將正數(shù)當(dāng)成光，然后我們對(duì)結(jié)果圖像加上128的偏移。這時(shí)候，圖像大部分就變成灰色了。
下面是45度的浮雕濾波器

我們只要加大濾波器，就可以得到更加夸張的效果了

2.5 均值模糊（Box Filter）

我們可以將當(dāng)前像素和它的四鄰域的像素一起取平均，然后再除以5，或者直接在濾波器的5個(gè)地方（注意：圖中卷積核中心寫錯(cuò)了，應(yīng)該是0.2）取0.2的值即可，如下圖：

2.6 高斯模糊（Gaussian Blur）

均值模糊很簡(jiǎn)單，但不是很平滑。高斯模糊就有這個(gè)優(yōu)點(diǎn)，所以被廣泛用在圖像降噪上。特別是在邊緣檢測(cè)之前，都會(huì)用來移除細(xì)節(jié)。高斯濾波器是一個(gè)低通濾波器。

高斯模糊卷積核

2.7 運(yùn)動(dòng)模糊（Motion Blur）

簡(jiǎn)單看一下實(shí)現(xiàn)浮雕效果所使用的卷積核：
運(yùn)動(dòng)模糊可以通過只在一個(gè)方向模糊達(dá)到，例如下面9x9的運(yùn)動(dòng)模糊濾波器。注意，求和結(jié)果要除以9。

這個(gè)效果就好像，攝像機(jī)是從左上角移動(dòng)的右下角。

3.卷積的計(jì)算

對(duì)圖像處理而言，存在兩大類的方法：空域處理和頻域處理！空域處理是指直接對(duì)原始的像素空間進(jìn)行計(jì)算，頻率處理是指先對(duì)圖像變換到頻域，再做濾波等處理。

3.1 空域計(jì)算-直接2D卷積

• 計(jì)算方法：

  直接2D卷積就是一開始說的那樣，對(duì)于圖像的每一個(gè)像素點(diǎn)，計(jì)算它的鄰域像素和濾波器矩陣的對(duì)應(yīng)元素的乘積，然后加起來，作為該像素位置的值。

  
  
  
  

  直接的實(shí)現(xiàn)也稱為暴力實(shí)現(xiàn)brute force，因?yàn)樗鼑?yán)格按照定義來實(shí)現(xiàn)，沒有任何優(yōu)化。當(dāng)然了，在并行實(shí)現(xiàn)里面，它也是比較靈活的。另外，也存在一個(gè)優(yōu)化版本，如果我們的kernel是separable可分的，那么就可以得到一個(gè)快5倍左右的卷積方法。

• 邊界處理

  那卷積核遇到圖像邊緣怎么辦？例如圖像頂部的像素，它的上面已經(jīng)沒有像素了，那么它的值如何計(jì)算？目前有四種主流的處理方法，我們用一維卷積和均值濾波來說明下。
  我們?cè)?D圖像中，用每個(gè)像素和它的二鄰域的平均值來取代它的值。假設(shè)我們有個(gè)1D的圖像I是這樣的：

  
  
  
  

  對(duì)非圖像邊界的像素的操作比較簡(jiǎn)單。假設(shè)我們對(duì)I的第四個(gè)像素3做局部平均。也就是我們用2,3和7做平均，來取代這個(gè)位置的像素值。也就是，平均會(huì)產(chǎn)生一副新的圖像J，這個(gè)圖像在相同位置J (4) = (I(3)+I(4)+I(5))/3 = (2+3+7)/3 = 4。同樣，我們可以得到J(3) = (I(2)+I(3)+I(4))/3 =(4+2+3)/3 = 3。需要注意的是，新圖像的每個(gè)像素都取決于舊的圖像，在計(jì)算J (4)的時(shí)候用J (3)是不對(duì)的，而是用I(3)，I(4)和I(5)。所以每個(gè)像素都是它和它鄰域兩個(gè)像素的平均。平均是線性的操作，因?yàn)槊總€(gè)新的像素都是舊像素的線性組合。
  對(duì)卷積，也有必須要考慮的情況是，在圖像邊界的時(shí)候，怎么辦？J(1)的值應(yīng)該是什么？它取決于I(0)，I(1)和I(2)。但是我們沒有I(0)呀！圖像左邊沒有值了。有四種方式來處理這個(gè)問題：

方法一：想象I是無限長(zhǎng)的圖像的一部分，除了我們給定值的部分，其他部分的像素值都是0。在這種情況下，I(0)=0。所以J(1) = (I(0) + I(1) + I(2))/3 = (0 + 5 + 4)/3= 3. 同樣，J(10) = (I(9)+I(10)+I(11))/3 = (3+ 6 + 0)/3 = 3.

方法二：想象I是無限圖像的一部分。但沒有指定的部分是用圖像邊界的值進(jìn)行拓展。在我們的例子中，因?yàn)閳D像I最左邊的值I(1)=5，所以它左邊的所有值，我們都認(rèn)為是5 。而圖像右邊的所有的值，我們都認(rèn)為和右邊界的值I(10)一樣，都是6。這時(shí)候J(1) = (I(0) + I(1) + I(2))/3 = (5 + 5 + 4)/3= 14/3. 而J(10) = (I(9)+I(10)+I(11))/3 = (3 + 6 + 6)/3 = 5。

方法三：認(rèn)為圖像是周期性的。也就是I不斷的重復(fù)。周期就是I的長(zhǎng)度。在我們這里，I(0)和I(10)的值就是一樣的，I(11)的值和I(1)的值也是一樣的。所以J(1) = (I(0) + I(1) + I(2))/3= (I(10) + I(1)+ I(2))/3 = (6 + 5 + 4)/3 = 5 。

3.2 頻域計(jì)算-快速傅里葉變換FFT卷積

后面的部分還沒學(xué)習(xí)，詳見：http://blog.csdn.net/zouxy09/article/details/49080029

4.圖像濾波

4.1 圖像濾波的目的

濾波就是要去除沒用的信息，保留有用的信息，可能是低頻，也可能是高頻

4.2 圖像的濾波方法

圖像的濾波方法很多，主要可以分為頻率域法和空間域法兩大類。頻率域法的處理是在圖像的某種變換域內(nèi)，對(duì)圖像的變換系數(shù)值進(jìn)行運(yùn)算，然后通過逆變換獲得增強(qiáng)圖像。這是一種間接的圖像濾波方法?？臻g濾波方法是一類直接的濾波方法，它在處理圖像時(shí)直接對(duì)圖像灰度作運(yùn)算。

• 頻率域?yàn)V波
  將圖像從空間或時(shí)間域轉(zhuǎn)換到頻率域，再利用變換系數(shù)反映某些圖像特征的性質(zhì)進(jìn)行圖像濾波。
  傅立葉變換是一種常用的變換。在傅立葉變換域，頻譜的直流分量正比于圖像的平均亮度，噪聲對(duì)應(yīng)于頻率較高的區(qū)域，圖像實(shí)體位于頻率較低的區(qū)域。圖像在變換具有的這些內(nèi)在特性可被用于圖像濾波。可以構(gòu)造一個(gè)低通濾波器，使低頻分量順利通過而有效地阻于高頻分量，即可濾除圖像的噪聲，再經(jīng)過反變換來取得平滑的圖像。

低通的數(shù)學(xué)表達(dá)式如下所示：

F(u,v)表示原圖的在傅里葉域的圖像
H(u,v)表示傳遞函數(shù)（即低通濾波器）
G(u,v)表示經(jīng)過低通濾波的F(u,v)

---

選擇適當(dāng)?shù)膫鬟f函數(shù)H (u, v)對(duì)頻率域低通濾波關(guān)系重大。常用的傳遞函數(shù)有梯形函數(shù)、指數(shù)函數(shù)、巴特沃思函數(shù)等。
頻域常用的幾種低通濾波器為：理想低通濾波器(Ideal circular Iow-passfilter)、巴特沃思(Butterworth)低通濾波器、指數(shù)低通濾波器及梯形低通濾波器。這些低通濾波器，都能在圖像內(nèi)有噪聲干擾成分時(shí)起到改善的作用。

• 平面空間域?yàn)V波

平面空間域?yàn)V波法主要分為兩類：

1. 擬合圖像的方法，包括n階多項(xiàng)式擬合、離散正交多項(xiàng)式擬合、二次曲面擬合等
2. 平滑圖像的方法，包括領(lǐng)域平均法、中值濾波法、梯度倒數(shù)加權(quán)法、選擇式掩模法等

平面空間域?yàn)V波主要使用兩種濾波器：

1. 高通濾波器：邊緣提取與增強(qiáng)。邊緣區(qū)域的灰度變換加大，也就是頻率較高。所以，對(duì)于高通濾波，邊緣部分將被保留，非邊緣部分將被過濾
2. 低通濾波：將會(huì)是邊緣部分變得平滑。注意：高斯濾波是一種線性平滑濾波，即低通濾波，適用于消除高斯噪聲。
   常用的高斯模板有如下幾種形式：
   
   
   高斯模板中的參數(shù)是通過高斯函數(shù)計(jì)算出來的。計(jì)算高斯模板參數(shù)時(shí)，通過如下公式：
   
   
   x的平方和y的平方分別表示的是鄰域內(nèi)其他像素與鄰域內(nèi)中心像素的距離，Sigmma代表的是標(biāo)準(zhǔn)差。

實(shí)驗(yàn)效果圖：（后面補(bǔ)）

常見的低通濾波實(shí)驗(yàn)效果圖

線性與非線性濾波

• 線性濾波：
  線性濾波器的原始數(shù)據(jù)與濾波結(jié)果是一種算術(shù)運(yùn)算，即用加減乘除等運(yùn)算實(shí)現(xiàn)，如均值濾波器（模板內(nèi)像素灰度值的平均值）、高斯濾波器（高斯加權(quán)平均值）等。由于線性濾波器是算術(shù)運(yùn)算，有固定的模板，因此濾波器的轉(zhuǎn)移函數(shù)是可以確定并且是唯一的（轉(zhuǎn)移函數(shù)即模板的傅里葉變換）。
• 非線性濾波：
  非線性濾波器的原始數(shù)據(jù)與濾波結(jié)果是一種邏輯關(guān)系，即用邏輯運(yùn)算實(shí)現(xiàn)，如最大值濾波器、最小值濾波器、中值濾波器等，是通過比較一定鄰域內(nèi)的灰度值大小來實(shí)現(xiàn)的，沒有固定的模板，因而也就沒有特定的轉(zhuǎn)移函數(shù)（因?yàn)闆]有模板作傅里葉變換），另外，膨脹和腐蝕也是通過最大值、最小值濾波器實(shí)現(xiàn)的。五種常見的非線性濾波算子，這五種濾波算子對(duì)不同的圖像都會(huì)有不同的作用，最常用的是中值濾波，因?yàn)樗男Ч詈们倚畔p失的最少。
  • 極大值濾波:
    極大值濾波就是選取像素點(diǎn)領(lǐng)域的最大值作為改點(diǎn)的像素值，有效率去了灰度值比較低的噪聲，也可作為形態(tài)學(xué)里面的膨脹操作。
  • 極小值濾波:
    與極大值濾波相反。
  • 中點(diǎn)濾波：
    中點(diǎn)濾波器將鄰域的最大和最小值求平均來代替當(dāng)前像素點(diǎn)值。
  • 中值濾波:
    中值濾將鄰域內(nèi)像素點(diǎn)值排序，用序列中的中值取代當(dāng)前像素點(diǎn)值?？梢韵龍D像中的長(zhǎng)尾噪聲，例如負(fù)指數(shù)噪聲和椒鹽噪聲。
  • 加權(quán)中值濾波（中值濾波的改進(jìn)）
    網(wǎng)上的解釋：
    加權(quán)中值濾波是在中值濾波的基礎(chǔ)上加以改進(jìn)，其性能在一定程度上優(yōu)于中值濾波。
    下面是自己在算法上的改進(jìn)，以例子說明：
    若說選模板的大小為5，那么這個(gè)模板就唯一確定為：
    1 1 5 1 1
    1 1 5 1 1
    5 5 5 5 5
    1 1 5 1 1
    1 1 5 1 1
    上圖中的數(shù)字表式改點(diǎn)像素在序列中出現(xiàn)的次數(shù)。然后根據(jù)模板平滑圖像。實(shí)驗(yàn)證明該方法好于傳統(tǒng)中值濾波。
    自己的理解：
    加權(quán)中值濾波就是在對(duì)鄰域像素值進(jìn)行排序時(shí)，有些像素值讓它多出現(xiàn)幾次。比如上面的模板，就是讓與當(dāng)前像素點(diǎn)同行同列的像素點(diǎn)的值都出現(xiàn)5次。

5.結(jié)語

圖像的卷積核濾波是圖像處理中比較基礎(chǔ)又很重要的部分，主要應(yīng)用在去除圖像噪聲，提取圖像邊緣等場(chǎng)合。
文中如有不當(dāng)之處歡迎留言。我們下次再見。