啥也先不說，Lena鎮(zhèn)個樓。
第一章 緒論
* 數(shù)字圖像：能夠在計算機行顯示和處理的圖像。
*?數(shù)字圖像處理：利用計算機對圖像進行分析、加工等處理，使其能夠滿足各種目的。
*?數(shù)字圖像的特點：
1、圖像中信息量大
2、圖像處理數(shù)據(jù)量大
3、處理過程重復(fù)運算量大
4、處理技術(shù)綜合性強
第二章 數(shù)字圖像處理基礎(chǔ)
*?人類視覺構(gòu)造：
*?錐狀細胞：感受光、色。對顏色敏感。
*?桿狀細胞：只感受光，不能感受顏色。（缺乏得夜盲癥）
*?亮度：光線的明暗程度
*?色調(diào)：色彩模式下，原色的明暗程度，如RGB下為紅綠藍三原色的明暗程度。
*?飽和度：色彩的濃度。
*?亮度對比效應(yīng)：
1、同時對比效應(yīng)：按對比度感覺物體量度對比。
2、馬赫帶效應(yīng)：視覺的主管感受在亮度有變化的地方出現(xiàn)需要的明亮或黑暗的條紋。
*?圖像數(shù)字化：將連續(xù)的模擬信號轉(zhuǎn)為離散的數(shù)字信號。
*?Nyquist采樣定理：
離散信號替代連續(xù)信號的條件：
1、原始信號為有限帶寬信號。
2、采樣頻率不小于信號最高頻率的2倍。
*?空間分辨率：
單位：像素/英寸，像素/厘米，像素*像素
數(shù)字圖像的量化：將灰度轉(zhuǎn)為整數(shù)代表。
eg 8位可以表示2^8個灰度級（ 0 - 256）
幅度分辨率：灰度級越多，該分辨率越高
（虛假輪廓：由于灰度級過少，導(dǎo)致顏色區(qū)別在離散化的時候被加大，導(dǎo)致出現(xiàn)類似輪廓的東西）
* 計算數(shù)字圖像的數(shù)據(jù)量
像素分辨率為M*N，Q bits/像素
數(shù)據(jù)量為：M*N*Q/8 Bytes
（該量化級數(shù)：2^8）
*?數(shù)字圖像分類：
1、灰度圖像：在純黑到純白之間量化。
2、二值圖像：只有黑白
3、彩色圖像：如RGB圖像，每個顏色通道都用相應(yīng)bits表示。
* 像素間的基本關(guān)系：
????* 位置關(guān)系：
? ? * 鄰接性：
? ? 鄰接條件：
????1、4相鄰或8相鄰
? ? 2、灰度值相近
? ? * 連通性：由鄰接性產(chǎn)生的性質(zhì)
? ? 連通集：由連通性產(chǎn)生
4-連通：6個
8-連通：2個
區(qū)域：R是圖像的像素子集，若R為連通集，則R為一個區(qū)域。
邊界：區(qū)域R中，有一個或多個領(lǐng)域像素不在該區(qū)域中，則該像素為其邊界。（上圖都是邊界）
像素距離：
1、歐式距離
2、街區(qū)距離 = |x1-x2| + |y1 - y2|
3、棋盤距離= max（|x1-x2| ，|y1 - y2|）
數(shù)字圖像代數(shù)運算：
? ? 應(yīng)用：
? ? 加法：去除加性噪聲，圖像疊加。
????減法：檢測圖像變化
? ? 乘法：摳圖，改變灰度
第三章 灰度變換與空間濾波
圖像增強
*?點運算：對單個像素進行變換
*?空間濾波：基于領(lǐng)域進行處理
*?灰度變換：
原像素->映射函數(shù)->變換后的像素
應(yīng)用：
1、圖像求反（底片效果）
以8bits為例：變換像素灰度 = 255 - 原像素灰度
2、線性變換（1）
擴張：將灰度集中的圖像（曝光不足或者過曝）灰度動態(tài)范圍拉大，加大反差，使得圖像更清晰。
壓縮：反之，可以柔和圖像。
*?分段線性變換（2）：
3、非線性變換：
目的對不同灰度范圍的像素做不同程度的處理，比如暗部和高光就沒必要拉大灰度值動態(tài)范圍。
* 對數(shù)擴展：
指數(shù)擴展：
灰度直方圖：反映灰度分布
橫軸灰度級，縱軸像素數(shù)或者百分比
* 計算：
直方圖均衡化
eg 練習(xí)題
灰度級 0 - 7
分布概率為：0.19， 0.25，0.21，0.16，0.08，0.06，0.03，0.02
求直方圖均勻化后的像素分布：
答案：
均勻化后只有5個灰度級，1，3，5，6，7概率如下：
1:0.19，3:0.25，5:0.21，6:0.24，7:0.11
直方圖規(guī)定化
簡而言之，給定一個模版，使得變換后的圖像像素灰度分布與模版相似。
比如該題，0灰度的占0.19接近目標(biāo)模版0.2，那么就變?yōu)槟繕?biāo)模版的灰度3。中間灰度1，2，3加起來0.62接近目標(biāo)模版的0.6所以就變?yōu)?。
空域濾波
*?空域濾波器/模版：一個矩陣
*?濾波過程：
1、在圖像中依次將濾波器對齊圖像的像素
2、做卷積（相應(yīng)像素與k乘，最后求和）
3、將結(jié)果賦值給濾波器中間位置對應(yīng)的圖像像素
*?邊緣問題：因為濾波器無法超出圖像范圍，所以邊緣無法濾波。
*?處理方法：
1、忽略
2、假想邊緣外有與邊緣灰度值一樣的像素
空域濾波分類：
1、平滑濾波：平滑圖像，去除高頻分量，使得圖像灰度值變化不那么大，同時降低噪聲。
2、銳化濾波：去除低頻分量，使得圖像反差增大，邊緣明顯。
平滑濾波
1、領(lǐng)域平均法
可以減少噪聲，但圖像也模糊了
2、加權(quán)平均法
不同位置的灰度重要性（權(quán)重）不一樣，中間的最為重要，旁邊的重要性降低。
3、非線性平滑濾波
銳化濾波
1、利用差分反映相鄰像素的灰度變化大?。ㄟB續(xù)的變化程度叫微分，離散的叫差分，其實就是差值。是一個概念）
2、通過差分的出梯度。（梯度可用來檢測邊緣，因為邊緣像素灰度變化很大）
3、銳化后的像素灰度值 = 原像素灰度值 + 銳化程度系數(shù)*梯度
實際應(yīng)用：
1、
2、二階差分模版——拉普拉斯算子
算梯度：
直接銳化：
第四章 頻率域濾波
> 前面我們用的矩陣濾波器是在空域?qū)D像進行處理，現(xiàn)在要轉(zhuǎn)到頻率區(qū)域。
> 對頻域不理解的同學(xué)，可以去知乎搜一搜。
> 簡單介紹：
> 天才數(shù)學(xué)家傅立葉發(fā)現(xiàn)，任何周期信號都能用正弦函數(shù)級數(shù)表示，任何非周期信號都可以用正弦信號的加權(quán)積分表示。
> 所以這些正弦函數(shù)的分布就產(chǎn)生了頻域的概念。
將圖像二維離散傅立葉變換后：
四個角，為低頻部分。中心為頻率最高處。
最亮說明低頻能量最高（看圖片，黑大衣，背景等這些灰度變化小的像素占了大多數(shù)，它們就是低頻分量）。
由于二維DFT的周期性和共軛對稱性，我們可以將頻率譜中心化。
頻譜圖的縱橫交錯性：
* 頻率濾波基礎(chǔ)
步驟：
1、圖像空域轉(zhuǎn)頻域
2、將頻譜與頻率濾波器相乘
3、進行傅立葉反變換得到圖像
*?頻域濾波分類：
1、低通濾波
2、高通濾波
3、帶通和帶阻濾波
4、同態(tài)濾波
* 陷波濾波器
低通濾波器
思想：噪聲和邊緣屬于高頻成分，低通，顧名思義低頻通過，濾去高頻。
分類：
1、理想低通濾波器
其中D0為人為確定的截止頻率
缺點：可能產(chǎn)生振鈴現(xiàn)象
振鈴現(xiàn)象產(chǎn)生的原因：
2、Butterworth低通過濾器
缺點：平滑效果不如理想低通
當(dāng)Butterworth的階數(shù)n升高時，振鈴現(xiàn)象加大。但是優(yōu)于理想低通，因為低頻與高頻之間是平滑過度的。而階數(shù)越高，平滑程度越低，所以振鈴現(xiàn)象增強。
3、高斯低通過濾器（GLPF）
缺點：平滑效果不如前兩個
平滑效果與截止頻率的關(guān)系：
高通濾波器
高頻通過，濾去低頻。實現(xiàn)銳化。
高通濾波模版 = 1 - 低通濾波模版
效果：
同樣IHPF有振鈴現(xiàn)象。
高通濾波得到的僅僅為邊緣信息，非邊緣信息全變黑了。為了得到增強的銳化圖像，使用高頻增強濾波方法。
方法：
k * 高通濾波器 + c
k 為 ?> 1 的系數(shù)，c為常數(shù)
帶通-帶阻濾波器
同態(tài)濾波器
對于動態(tài)范圍很大圖像（黑的很黑，白的很白），而且細節(jié)在黑或者白的部分。
使用灰度級擴展提高反差，圖像動態(tài)范圍進一步加大。
壓縮灰度級，動態(tài)范圍變小，但是細節(jié)更加無法分辨。
此時需要將頻率過濾與灰度變換結(jié)合起來——同態(tài)濾波。
* 理論基礎(chǔ)：
圖像是根據(jù)照度/反射率模型組成的。
照度：太陽光或者其他光源，一般變化較小，為低頻。
反射率：由物體表面材質(zhì)決定，變化大，為高頻。
（舉個例子，比方你望去窗外，太陽光照射所有物體的光幾乎是一致的。但呈現(xiàn)出的不同細節(jié)等是由花草房子之類的反射率決定的）
那么，
減弱入射光i（x，y）可以縮小灰度范圍。
怎強反射光r（x，y）可以提高圖像對比度。
過程：
這樣同態(tài)濾波器就自動的對低頻的入射光進行虛弱，降低動態(tài)范圍。對高頻進行增強，提高對比度。
第五章 圖像的復(fù)原與重建
圖像退化：圖像在產(chǎn)生、存儲、傳輸過程中，由于設(shè)備等的不完善使得圖像質(zhì)量損壞。
圖像復(fù)原：在圖像退化模型的基礎(chǔ)上，根據(jù)先驗知識建立退化模型，再進行反運算恢復(fù)原始圖像。
* 圖像增強與圖像復(fù)原的聯(lián)系與區(qū)別
聯(lián)系：都是改善圖像的視覺質(zhì)量
區(qū)別：增強是主觀的，不考慮圖像退化原因。復(fù)原是客觀的，目的是最大程度還原成原圖像。
圖像退化模型：
噪聲模型
使用概率密度函數(shù)進行描述。
分類：
1、高斯噪聲
2、瑞利噪聲
3、伽馬噪聲
4、均勻分布噪聲
5、脈沖噪聲（椒鹽噪聲）
6、周期噪聲
一些噪聲的灰度直方圖：
案例：
分析：
取一塊變化很小的地方，繪制直方圖。發(fā)現(xiàn)是高斯噪聲模型。
噪聲濾除
處理加性噪聲（高斯噪聲、均勻分布噪聲）——空域濾波
1、算數(shù)均值濾波，做算術(shù)平均
2、幾何均值濾波，做幾何平均
????優(yōu)點：幾何均值濾波圖像細節(jié)保留更多，平滑程度和算術(shù)差不多。
3、諧波均值濾波 ? ?
? ? 處理“鹽”噪聲效果較好，不適用于“椒”噪聲。
4、逆諧波均值濾波
Q-濾波器階數(shù) ：
Q > 0 處理“椒”噪聲
Q == 0 為算術(shù)均值濾波
Q < 0 處理“鹽”噪聲（Q == -1，為諧波均值濾波）
5、統(tǒng)計排序濾波器：
中值濾波器：相同尺寸下，比均值濾波器引起的模糊小。處理脈沖噪聲很有效。但多次使用會模糊圖像。
最大值濾波器：處理“椒”噪聲效果好，但會從黑色物體邊緣移走一些黑色色素。
最小值濾波器：處理“鹽”噪聲效果好，但會從白色物體邊緣移走一些白色色素。
中點濾波器：計算濾波模版內(nèi)最大值最小值的算術(shù)平均，即為中點值。處理高斯和均勻噪聲效果最好。
6、自適應(yīng)濾波器（可根據(jù)當(dāng)前處理的像素信息，自行確定修復(fù)強度）
效果：
7、自適應(yīng)中值濾波
在模版內(nèi)找中值，中值不是脈沖，則看中心值Zxy是不是脈沖。中心值Zxy是脈沖，則用中值代替。不是脈沖，則中心Zxy不變（優(yōu)點：保存原有樣子）。
如果模版已經(jīng)擴展到最大了，中值還是脈沖，則輸出中值。
8、逆濾波
需要先驗知識，知道是什么情況的退化模型。但是噪聲仍然是隨機的，無法確定。
所以，一般用于信噪比高的的圖像復(fù)原問題。
需要先驗知識，知道是什么情況的退化模型。但是噪聲仍然是隨機的，無法確定。
所以，一般用于信噪比高的的圖像復(fù)原問題。
如果H（u，v）取非常小的值的時候，原圖像被破壞，這時候要認為干預(yù)，只在原點周圍有限區(qū)域做逆濾波。
第六章 彩色圖像處理
描述彩色光源3個量：
輻射量：從光源流出的能量總量。
光通量：觀察者從光源感受到的能量。
亮度：主觀的描述，與顏色無關(guān)，僅僅為強度。
人類對紅綠藍顏色最敏感，從而構(gòu)成三基色假說，也稱之為三原色。
三基色假說：三基色是一組正交基。就是說，它們相互獨立，其中任何一種顏色都不能由另外兩種混合而成。而其他所有顏色可由三基色按一定比例混合得到。
CIE色度圖：
1、x軸：紅色，y軸：綠色，藍色： 1 - x - y；
2、邊界上為全飽和的純色，內(nèi)部為混合色
3、等能量點：CIE白光標(biāo)準(zhǔn)，x = y = 1 - x - y，飽和度為0
4、任意2點的線段，都可以由線段兩端的顏色混合而成。任意3點組成的三角形內(nèi)的顏色，都可以由3個端點顏色混合而成。
5、等能量點到邊界任意點的連線，可以定義特定色譜的所有色調(diào)。
6、該圖的三原色不是固定的。
色彩模型：
1、RGB彩色模型
像素深度：每個像素所用bits數(shù)
若每個顏色用8bits，則像素深度為24
表示的顏色有2^24種
2、HSI彩色模型
這是從人對色彩的感知角度建立的彩色模型。
H（Hue）色調(diào)：觀察者接受的主要顏色。
S（Saturation）飽和度：純色背白光稀釋的程度。
I（Intensity）亮度：色彩的明亮度，主觀指標(biāo)。
兩種彩色模型利弊：
RGB適合圖像生成，HSI適合圖像描述。
HSI更加能夠反映色彩本質(zhì)，被廣泛應(yīng)用于計算機視覺、圖像視頻檢索等領(lǐng)域。
偽彩色圖像處理
根據(jù)一定的準(zhǔn)則對灰度值賦予彩色的處理，方法就是確定灰度值與彩色的映射關(guān)系。
1、強度分層技術(shù)：不同灰度值的圖像用不同顏色。
eg
2、灰度級到彩色的轉(zhuǎn)換
不同的灰度值，分別確定RGB值，最后合成為彩色。
eg
全彩色圖像處理
1、分別處理RGB分量圖像，最后合成。
2、直接對每個像素的RGB進行處理。
色彩變換
1、補色：色環(huán)上對面的顏色。
2、色彩分離開
突出圖像中特殊彩色的區(qū)域
以球形為例：給定一個顏色向量（r，g，b），任何顏色（x，y，z）兩者歐式距離平方小于給定距離時，則保留。
第八章 圖像壓縮
設(shè)n1為原始圖像每個像素平均bits數(shù)，n2為壓縮后的。
壓縮比CR = n1 / n2
相對數(shù)據(jù)冗余RD = （n1 - n2） / n1
客觀保真度標(biāo)準(zhǔn)：
圖像壓縮過程：
壓縮：
映射：把圖像由普通像素灰度矩陣的表形勢轉(zhuǎn)換為其他表達形式，以降低時間冗余與空間冗余。這一過程通常可逆。
量化：根據(jù)預(yù)設(shè)保真準(zhǔn)則降低輸出的精度，這一過程不可逆。
符號編碼
解壓縮：
符號解碼
逆映射
統(tǒng)計編碼（無損）
1、Huffman編碼：數(shù)據(jù)結(jié)構(gòu)已經(jīng)學(xué)習(xí)。
2、算術(shù)編碼：
整個消息就只有一個碼字（浮點數(shù)）
缺點：對錯誤敏感，精度有限，需要結(jié)束符號。
編碼：
解碼：
3、行程編碼
當(dāng)圖像由大面積色塊組成，壓縮效果好。
但灰度變化大的圖像，數(shù)據(jù)量可能還會增大。（最壞情況，下一個像素都和上一個像素不一樣，那么，對每一個像素都要多存一個行程1，數(shù)據(jù)量將加倍）
預(yù)測編碼
根據(jù)“過去時刻”的像素值，估計當(dāng)前像素值。消除相鄰像素的冗余。
根據(jù)有無量化步驟來確定是否是有損壓縮。
變換編碼
將圖像變換到另一個空間進行編碼操作。
一般使用正交變換（優(yōu)點）：
1、正交變換可逆，不會丟失信息。
2、正交變換有能量保持性質(zhì)。
3、能量重新分配與集中。
離散余弦變換（DCT）：
1、攜帶信息能力強。
2、單片集成電路就可以實現(xiàn)。
3、可使圖像塊效應(yīng)最小。
塊變換編碼：把圖像分為大小相等且不重疊的小塊，對每塊進行單獨編碼。
塊越大，塊效應(yīng)減弱，壓縮率上升，但計算復(fù)雜度上升。
比特分配：對變換后的圖像塊進行截取、量化、編碼。
通過保留變換后圖像的一部分“重要系數(shù)”，丟棄其他部分，可以重建較高質(zhì)量的圖像。
保留系數(shù)的方法
1、區(qū)域編碼：
值保留能量集中部分的區(qū)域系數(shù)，其余置0。
系數(shù)保留的位置固定，所以不是對所有圖像都有很好的控損能力。
2、閾值編碼：
設(shè)定一個閾值，超過閾值的保留，其余舍棄。
有一定自適應(yīng)能力。
但是會花費而外數(shù)據(jù)量存儲超過閾值的像素位置（比如最右下腳的像素系數(shù)超過閾值，我們就得花數(shù)據(jù)記錄它的位置），所以，壓縮比會下降。
JEEG聯(lián)合照片專家組
標(biāo)準(zhǔn)：
有損壓縮：基于DCT
無損壓縮：基于預(yù)測技術(shù)
步驟：
1、使用DCT變換，得到頻域。
2、用加權(quán)函數(shù)進行量化。
3、用Huffman編碼對量化系數(shù)進行編碼。
RGB僅支持YCbCr顏色模式，需要對以RGB模式的圖像進行色彩模式轉(zhuǎn)換。
Hi, Lena see u again!
Reference:
武漢大學(xué) 涂衛(wèi)平教授《數(shù)字圖像處理》課件
