第三章 圖像處理

1.點操作

? ? ? ? 輸出圖像的像素值僅僅由輸入圖像的像素值決定。

? ? ? ? 1.1 像素變換

? ? ? ? ? ? ? 根據(jù)像素產(chǎn)生輸出像素，注意，這里的像素可以是多副圖片的像素。

? ? ? ? 1.2 顏色變換

? ? ? ? ? ? ? 彩色圖像的各通道間具有很強的相關性。

? ? ? ? 1.3 合成和映射

? ? ? ? ? ? ? 將前景對象從圖像背景中提取出來，被稱為摳圖；將對象插入另一圖像被稱為合成。

? ? ? ? 1.4 直方圖均衡化

? ? ? ? ? ? 對比度和亮度參數(shù)可以提升圖像的外觀，為了自動調(diào)節(jié)這兩個參數(shù)，有兩種方法，一種方法是尋找圖像中最亮的值和最暗的值，將它們映射到純白和純黑，另一種方法是尋找圖像的像素平均值，將其作為像素的中間灰度值，然后充滿范圍盡量達到可顯示的值。

? ? ? ? 局部自適應直方圖均衡化，對于不同的區(qū)域采用不同的均衡化方法。缺點是會產(chǎn)生區(qū)塊效應，即塊的邊界處亮度不連續(xù)，為了消除這一效應，常采用移動窗口，或者在塊與塊之間的轉換函數(shù)進行平滑插值。

? ? ? ? 1.5 應用:色調(diào)調(diào)整

? ? ? ? 點算子的常用領域是對照片的對比度和色調(diào)進行操作。

2.線性濾波器

? ? ? ? 與點算子相對應的鄰域算子是根據(jù)選定像素及周圍的像素來決定該像素的 輸出。鄰域算子不僅用于局部色調(diào)調(diào)整，還用于圖像平滑和銳化，圖像的去噪。

? ? ? ? 鄰域算子的重要概念是卷積和相關，它們都是線性移不變算子，滿足疊加原理和移位不變原理。

? ? ? ? 填塞，當卷積核超出圖像邊界時，會產(chǎn)生邊界效應。有多種填塞方法，0填塞，常數(shù)填塞，夾取填塞，重疊填塞，鏡像填塞，延長。

? ? ? ? 2.1 可分濾波器

? ? ? ? 如果一個卷積運算可以分解為一維行向量卷積和一維列向量卷積，則稱該卷積核可分離。2D核函數(shù)可以看作一個矩陣K，當且僅當K的第一個奇異值為0時，K可分離。

? ? ? ? 2.2 線性濾波器舉例

? ? ? ? 最簡單的濾波器是移動平均或方框濾波器，其次是雙線性濾波器（雙線性核），高斯濾波器（高斯核），以上均為低通核，模糊核，平滑核。對于這些核函數(shù)效果的度量采用傅里葉分析。還有Sobel算子和角點算子。

? ? ? ? 2.3 帶通和導向濾波器

? ? ? ? Sobel算子是帶方向的濾波器的近似，先用高斯核平滑圖像，再用方向導數(shù)（拉普拉斯算子)作用于圖像，得到導向濾波器，導向具有潛在的局部性以及很好的尺度空間特性。導向濾波器常用來構造特征描述子和邊緣檢測器，線性結構通常被認為是類似邊緣的。

? ? ? ? 區(qū)域求和表是指一定區(qū)域內(nèi)所有像素值的和，又稱為積分圖像，它的有效計算方法是遞歸算法（光柵掃描算法），區(qū)域求和表用于對其他卷積核的近似，人臉檢測中的多尺度特征，以及立體視覺中的差分平方和的計算。

? ? ? ? 遞歸濾波器稱為無限脈沖響應(IIR)，有時用于二維距離函數(shù)和連通量的計算，也可計算大面積的平滑計算。

? ? ? ?

3.鄰域運算符

? ? ? ? 3.1 非線性濾波器

? ? ? ? 中值濾波可以去除散粒噪聲，它的另一個優(yōu)點是保邊平滑，即在濾除高頻噪聲時，邊緣不容易被柔化。

? ? ? ? 雙邊濾波器思想的精髓在于，抑制與中心像素值差別較大的像素，而不是抑制固定百分比的像素。在加權濾波器的基礎上，對權重系數(shù)進行了控制，即取決于定義域核（高斯核）和值域核（與中心像素值的相似度），兩者相乘得到雙邊濾波器核。

? ? ? ? 迭代自適應平滑核各項異性擴散。

? ? ? ? 3.2 形態(tài)學

? ? ? ? 非線性濾波常用于二值圖像處理，二值圖像中最常見的算子是形態(tài)學算子，將二值結構元素與二值圖像卷積，根據(jù)卷積結果的閾值選擇二值輸出，結構元素可以是任何形狀。

? ? ? ? 常見的形態(tài)學操作有膨脹，腐蝕，過半，開運算，閉運算。過半使銳利的角變得平滑，開運算和閉運算去除圖像中小的點和孔洞，并使圖像平滑。

? ? ? ? 3.3 距離變換

? ? ? ? 距離變換通過使用兩遍光柵掃描法，快速預計算到曲線或點集的距離，包括城街距離變換和歐氏距離變換。符號距離變換是基本距離變換的擴展，計算了所有像素到邊界像素的距離。

? ? ? ? 3.4 連通域

? ? ? ? 檢測圖像的連通量是半全局的圖像操作，連通量定義為具有相同輸入值的鄰接像素的區(qū)域，二值或多值圖像被分割成連通量形式后，對每個單獨區(qū)域計算統(tǒng)計量，面積，周長，質心，二階矩，可用于區(qū)域排序和區(qū)域匹配。

4.傅里葉變換

? ? ? ? ? 傅里葉變換用于對濾波器的頻域特征進行分析，F(xiàn)FT能快速實現(xiàn)大尺度核的卷積。

? ? ? ? ? 思想：為了分析濾波器的頻率特征，將一個已知頻率的正弦波通過濾波器，觀察正弦波變?nèi)醯某潭?。傅里葉變換可認為是輸入信號為正弦信號s(x)，經(jīng)過濾波器h(x)后，產(chǎn)生的輸出響應為正弦信號o(x)=s(x)*h(x),即兩者的卷積。傅里葉變換是對每個頻率的幅度和相位響應的簡單羅列。傅里葉變換不僅可以用于濾波器，還能用于信號和圖像。

? ? ? ? ? 傅里葉變換的性質：疊加，平移，反向，卷積，相關，乘，微分，定義域縮放，實值圖像，Parseval定理。

? ? ? 4.1 傅里葉變換對

? ? ? 常見的傅里葉變換對，連續(xù)的和離散的。方便進行傅里葉變換。

? ? ? ? 高頻成分將在降采樣中導致混疊。

? ? ? 4.2 二維傅里葉變換

? ? ? ? 為了對二維圖像及濾波器進行處理，提出了二維傅里葉變換，與一維傅里葉變換類似，只不過用向量代替標量，用向量內(nèi)積代替乘法。

? ? ? ? 4.3 維納濾波器

? ? ? ? 傅里葉變換還可用于分析一類圖像整體的頻譜，維納濾波器應運而生。假定這類圖像位于隨機噪聲場中，每個頻率的期望幅度通過功率譜給出，信號功率譜捕獲了空間統(tǒng)計量的一階描述。維納濾波器適用于去除功率譜為P的圖像噪聲的濾波器。

? ? ? ? 維納濾波器的性質，對于低頻具有 單位增益，對于高頻，具有減弱的效果。

? ? ? ? 離散余弦變換(DCT）常用于處理以塊為單位的圖像壓縮，它的計算方法是將以N為寬度的塊內(nèi)的像素與一系列不同頻率的余弦值進行點積來實現(xiàn)。

? ? ? ? DCT變換的實質是對自然圖像中一些小的區(qū)域的最優(yōu)KL分解（PCA主成分分析的近似），KL能有效對信號去相關。

? ? ? ? 小波算法和DCT交疊變種能有效去除區(qū)塊效應。

? ? ? ? 4.4 應用:銳化，模糊，去噪

? ? ? ? ? 銳化和去噪聲能有效增強圖像，傳統(tǒng)的方法是采用線性濾波算子，現(xiàn)在廣泛采用非線性濾波算子，例如加權中值和雙邊濾波器，各向異性擴散和非局部均值，以及變分方法。

? ? ? ? ? 度量圖像去噪算法效果時，一般采用峰值信噪比(PNSR)，結構相似性(SSIM)索引。

5.金字塔和小波變換

? ? ? ? 迄今為止所研究的圖像變換輸出圖像大小均等于輸入圖像的大小，為了對不同分辨率的圖像進行處理，比如，對小圖像進行插值使其與電腦的分辨率相匹配，或者減小圖像的大小來加速算法的執(zhí)行或節(jié)省存儲空間和傳輸時間。

? ? ? ? 由于不知道處理圖像所需的分辨率，故由多幅不同的圖像構建圖像金字塔，從而進行多尺度的識別和編輯操作。改變圖像分辨率較好的濾波器是插值濾波器和降采樣濾波器。

? ? ? 5.1 插值

? ? ? ? 為將圖像變大到較高分辨率，需要用插值核來卷積圖像，二次插值常用方法是雙線性插值，雙三次插值，窗函數(shù)。窗函數(shù)被認為是品質最高的插值器，因為它既可以保留低分辨率圖像中的細節(jié)，又可以避免混疊。

? ? ? ? 5.2 降采樣

? ? ? ? 降采樣是為了降低圖像分辨率，先用低通濾波器卷積圖像，避免混疊，再保持第r個樣例。常用的降采樣濾波器有線性濾波器，二次濾波器，三次濾波器，窗余弦濾波器，QMF-9濾波器，JPEG2000濾波器。

? ? ? ? 5.3 多分辨率表示

? ? ? ? 通過降采樣和插值算法，能夠對圖像建立完整的圖像金字塔，金字塔可以加速由粗到精的搜索算法，以便在不同的尺度上尋找物體和模式，或進行多分辨率融合操作。

? ? ? ? 計算機視覺中最有名的金字塔是拉普拉斯金字塔，采用大小為2因子對原圖像進行模糊和二次采樣，并將它存儲在金字塔的下一級。

? ? ? 5.4 小波變換

? ? ? ? 小波是在空間域和頻率域都定位一個信號的濾波器，并且是在不同層次的尺度上定義的。小波可以進行多尺度有向濾波和去噪。與常規(guī)的金字塔相比，小波具有更好的方向選擇性，并提供了緊致框架。

? ? ? ? 提升小波被稱為第二代小波，很容易適應非常規(guī)采樣拓撲，還有導向可移位多尺度變換，它們的表述不僅是過完備的，而且是方向選擇的。

? ? ? 5.5 應用:圖像融合

? ? ? ? 拉普拉斯金字塔的應用，混合合成圖像。要產(chǎn)生混合圖像，每個原圖像先分解成它自己的拉普拉斯金字塔，之后每個帶被乘以一個大小正比于金字塔級別的平滑加權函數(shù) 。最簡單的方法是建立一個二值掩膜圖像，根據(jù)此圖像產(chǎn)生一個高斯金字塔，再將拉普拉斯金字塔和高斯掩膜，這兩個帶權金字塔的和產(chǎn)生最終圖像。

6.幾何變換

? ? ? ? 相對于點操作改變了圖像的值域范圍，幾何變換關注于改變圖像的定義域。原先采用的方法是全局參數(shù)化2D變換，之后的注意力將轉向基于網(wǎng)格的局部變形等更多通用變形。

? ? ? ? 6.1 參數(shù)變換

? ? ? ? 參數(shù)化變換對整幅圖像進行全局變換，其中變換的行為由少量的參數(shù)控制，反向卷繞或反向映射的性能優(yōu)于前向卷繞，主要在于其能夠避免空洞和非整數(shù)位置重采樣的問題。而且可以用高質量的濾波器來控制混疊。

? ? ? ? 圖像卷繞問題可形式化為給定一個從目標像素x'到原像素x的映射來重采樣一副原圖像。類似的反向法應用場合有光流法預測光流以及矯正透鏡的徑向畸變。

? ? ? ? 重采樣過程的插值濾波器有，二次插值，三次插值，窗插值，二次插值追求速度，三次插值和窗插值追求視覺品質。

? ? ? ? MIP映射是一種紋理映射的快速預濾波圖像工具。? ?

? ? ? ? MIP圖是標準的圖像金字塔，每層用一個高質量的濾波器濾波而不是低質量的近似，重采樣時，需要預估重采樣率r。

? ? ? ? 橢圓帶權平均濾波器(EWA)，各向異性濾波，多通變換。

? ? ? ? 有向二位濾波和重采樣操作可以用一系列一維重采樣和剪切變換來近似，使用一系列一維變換的優(yōu)點是它們比大的，不可分離的二位濾波核更有效。

? ? ? ? 6.2 基于網(wǎng)格扭曲

? ? ? ? ? ? 為了獲得更自由的局部變形，產(chǎn)生了網(wǎng)格卷繞。稀疏控制點，稠密集，有向直線分割，位移場的確定。

? ? ? ? 6.3 應用:基于特征的形態(tài)學

? ? ? ? ? ? 卷繞常用于改變單幅圖像的外觀以形成動畫，也可用于多幅圖像的融合以產(chǎn)生強大的變形效果，在兩幅圖像之間進行簡單的漸隱漸顯會導致鬼影，但采用圖像卷繞建立了良好的對應關系，相應的特征便會對齊。

7.全局優(yōu)化

? ? ? ? 用一些優(yōu)化準則明確表達想要變換的目標，再找到或推斷出這個準則的解決辦法。正則化和變分法，構建一個描述解特性的連續(xù)全局能量函數(shù)，然后用稀疏線性系統(tǒng)或相關迭代方法找到最小能量解，貝葉斯統(tǒng)計學對產(chǎn)生輸入圖像的有噪聲的測量過程和關于解空間的先驗假設進行建模，通常用馬爾科夫隨機場進行編碼。常見示例有散列數(shù)據(jù)的表面插值，圖像去噪和缺失區(qū)域恢復，將圖像分為前景和背景區(qū)域。

? ? ? 7.1 正則化

? ? ? ? 正則化理論試圖用模型來擬合嚴重欠約束解空間的數(shù)據(jù)。即用一個平滑的表面穿過或是靠近一個測量數(shù)據(jù)點集合的問題。這樣的問題是病態(tài)的和不適定的。這樣由采樣數(shù)據(jù)點d(xi,yi)恢復完整圖像f(x,y)的問題被稱為逆問題。

? ? ? ? 為了定義平滑解，常在解空間上定義一個范數(shù)，對于一維函數(shù)，函數(shù)一階導數(shù)的平方進行積分，或對函數(shù)二階導數(shù)的平方進行積分，這種能量度量是泛函的樣例，是將函數(shù)映射到標量值的算子，這種方法被稱為變分法，用于度量函數(shù)的變化（非平滑性）。

? ? ? ? 7.2 馬爾科夫隨機場

? ? ? ? 7.3 應用:圖像復原