在RAW域去噪聲的原因
Raw 圖像會(huì)經(jīng)過isp各個(gè)block，每一步的信號(hào)處理操作都會(huì)造成噪聲不同的變化。
1. Lens shading correction 對(duì)噪聲的影響
因?yàn)閘ens shading correction 是在圖像的上乘以一個(gè)gain，遠(yuǎn)離中心的地方gain 越大，因此會(huì)導(dǎo)致，gain大的位置，噪聲也變得更大。
原始信號(hào)是這樣的：
經(jīng)過shading correction，如下圖，圖像邊緣的噪聲會(huì)被顯著增強(qiáng)
由圖像中心到邊緣就會(huì)形成沿徑向增強(qiáng)的噪聲圖像，也被稱作radial noise。
2. demosaic對(duì)噪聲的影響
由于demosaic 對(duì)原始信號(hào)進(jìn)行了插值操作，會(huì)導(dǎo)致圖像的噪聲變?yōu)榻Y(jié)構(gòu)性噪聲。
如圖d所示，圖像會(huì)出現(xiàn)一些特別的pattern noise
3. 非線性變換
Gamma :
Gamma可以近似理解為不同的亮度值乘以的gain不一樣，亮度越小的地方乘以的gain越大，亮度越大的地方乘以的gain越小，因此gamma之后的噪聲又發(fā)成了一個(gè)非線性變化，模型為：
4.線性變換
比如awb，digital gain 這些運(yùn)算時(shí)線性變換，圖像的噪聲會(huì)線性變化。
5. CCM
無論是色彩管理還是RGB到SRGB色域空間的轉(zhuǎn)換，一般情況下是一個(gè)3*3的矩陣，這一步又增強(qiáng)了噪聲的相關(guān)性，而且還會(huì)增強(qiáng)視覺的彩色噪聲的飽和度，使噪聲的視覺效果變得更糟糕。
結(jié)論：
圖像從sensor 輸出， 經(jīng)過isp后，圖像的噪聲性質(zhì)變得更加復(fù)雜，難以處理，所以在isp的前端進(jìn)行去噪處理是比較合適的選擇。（去彩色噪聲一般在isp的后端，因?yàn)檫@時(shí)候圖像可以很容易分離出亮度通道和彩色通道。）
相關(guān)啟發(fā)：
1，raw domain的噪聲不是單純的高斯噪聲，而是和亮度有關(guān)系的。
2，在raw domain進(jìn)行一定程度的降噪，對(duì)于圖像質(zhì)量會(huì)有很大的提高，比如上圖中的結(jié)構(gòu)性噪聲。
3，在raw domain設(shè)計(jì)降噪算法會(huì)稍微容易一些。在不同的亮度進(jìn)行不同強(qiáng)度的降噪，或者把噪聲歸一化，有利于保護(hù)細(xì)節(jié)。
4，noise profile并不是單純用在denoise這一個(gè)模塊上，還以用在時(shí)域降噪，demosaic等模塊上。
5，實(shí)際使用時(shí)并不一定要在raw domain降噪，很多ISP也都是以YUV domain降噪為主體的。
RAW域噪聲特性：
高斯噪聲與信號(hào)無關(guān)，泊松噪聲與信號(hào)有關(guān)。
有了這個(gè)數(shù)學(xué)描述，可以建立起信號(hào)強(qiáng)度與噪聲強(qiáng)度之間的對(duì)應(yīng)關(guān)系，在系統(tǒng)運(yùn)行期可以以此為輸入調(diào)節(jié)去噪算法更好地去噪。
降噪的評(píng)價(jià)標(biāo)準(zhǔn)：
PSNR : 峰值信噪比 Peak Signal to Noise Ratio
SNR ： 信噪比 SIGNAL-NOISE RATIO
snr的標(biāo)準(zhǔn)是：dB越高，降噪程度越好。
一般會(huì)出現(xiàn)兩種問題：
1，SNR好并不能代表真實(shí)的視覺噪聲，有些同樣的snr，但是視覺表現(xiàn)出來就不同：visual noise
2，snr好并不能代表最終圖像質(zhì)量好，有時(shí)會(huì)過度涂抹；snr雖高，但是圖像質(zhì)量并不好。
同樣的方差，完全不同的視覺效果。
結(jié)論：因?yàn)椴煌念l率噪聲對(duì)人眼的視覺影響完全不一樣，并且人眼對(duì)彩噪和亮度噪聲的感覺也完全不一樣。
枯葉圖：
關(guān)于枯葉圖：
https://www.xianjichina.com/special/detail_342261.html
在手機(jī)行業(yè)中，降噪已經(jīng)成為信號(hào)處理中一個(gè)很重要的部分。由于使用的算法不同及要消除的噪聲量也不同，降噪處理會(huì)導(dǎo)致在低對(duì)比度細(xì)節(jié)方面有損失，也就是紋理損失。在過去的許多年里，降噪的效果也成為客觀圖像質(zhì)量評(píng)估的一個(gè)重要部分。不同的廠家使用的方法可能都不一樣，我們所呈現(xiàn)的是根據(jù)我們的經(jīng)驗(yàn)得到的結(jié)果。我們發(fā)現(xiàn)一個(gè)問題，如果使用中性的圖卡，待測的設(shè)備測試的結(jié)果是和真正的生活經(jīng)歷是不匹配的。我們采用的是有顏色的圖卡。
評(píng)估新的圖卡和測試方法：
使用相機(jī)去拍攝，為了得到一個(gè)關(guān)于圖像質(zhì)量整體的印象，測試必須包含所謂的紋理損失測試和分辨率測試。一些專家也已經(jīng)討論了不同的方法，有一個(gè)建議是使用“枯葉圖”，因?yàn)樗愃朴跇涞目萑~。為了評(píng)估新的圖卡和新的方法，使用不同的相機(jī)進(jìn)行測試。這就包含了在紋理損失有很低性能的相機(jī)和一些單反相機(jī)。
因此我們知道必須要更換圖卡和分析圖片的算法。自然物體和枯葉圖之間的主要區(qū)別就是枯葉圖是灰色的。幾乎在市場上所有以攝影為目的的相機(jī)都是以拜耳模式分布工作的并且需要在每個(gè)像素中插入丟失的顏色信息。去馬賽克當(dāng)然會(huì)對(duì)相機(jī)的SFR有影響。降噪算法可以在處理強(qiáng)度和顏色上有區(qū)別，因此一個(gè)純灰的圖卡是不能反映相機(jī)在彩色物體上的性能。
