深度殘差收縮網(wǎng)絡(luò)（Deep Residual Shrinkage Network）是深度殘差網(wǎng)絡(luò)（Deep Residual Learning, ResNet）的一種改進(jìn)，發(fā)表在IEEE Transactions on Industrial Informatics上，面向的是數(shù)據(jù)包含噪聲的情況。
簡(jiǎn)單地講，深度殘差收縮網(wǎng)絡(luò)就是，將軟閾值化作為可訓(xùn)練的模塊，嵌入到ResNet之中。接下來(lái)結(jié)合自己的理解，解讀一下相關(guān)的背景知識(shí)。
（1）噪聲的含義
如上所述，深度殘差收縮網(wǎng)絡(luò)面向的是數(shù)據(jù)包含噪聲的情況。事實(shí)上，這里的“噪聲”，可以有更寬泛的解釋?！霸肼暋辈粌H可以指數(shù)據(jù)獲取過(guò)程中所摻雜的噪聲，而且可以指“與當(dāng)前任務(wù)無(wú)關(guān)的信息”。
比如說(shuō)，我們?cè)谟?xùn)練一個(gè)貓狗分類(lèi)器的時(shí)候，如果圖像中存在老鼠，那么老鼠就可以理解為一種噪聲。
或者說(shuō)，在故障診斷領(lǐng)域，對(duì)于一個(gè)復(fù)雜的機(jī)械系統(tǒng)，可能存在很多個(gè)激振源。許多個(gè)軸、軸承、齒輪和聯(lián)軸器等的旋轉(zhuǎn)或嚙合都可能會(huì)激發(fā)振動(dòng)。這些振動(dòng)成分都混雜在所采集的振動(dòng)信號(hào)中。如果我們的目的是檢測(cè)某一零件（比如某一個(gè)齒輪）是否發(fā)生故障，則其他零件所激發(fā)的振動(dòng)，在一定程度上，都可以理解為噪聲。
從這個(gè)角度來(lái)講的話，深度殘差收縮網(wǎng)絡(luò)可能有著更寬廣的應(yīng)用場(chǎng)景。
（2）軟閾值化（soft thresholding）
軟閾值化是信號(hào)降噪里一個(gè)非常常見(jiàn)的概念，它指的是將一段信號(hào)的值，朝著“零”的方向進(jìn)行收縮。比如，在下面的這張圖片里，橫軸x表示輸入，縱軸y表示輸出。那么，相較于輸入信號(hào)，輸出信號(hào)就朝著“零”發(fā)生了收縮。
這種降噪方式有一個(gè)前提。那就是，接近于零的部分是噪聲，或者說(shuō)，是不重要的，可以被剔除掉。然而，事實(shí)上，對(duì)于很多信號(hào)，接近于零的部分，可能包含著許多有用的信息，不能直接被剔除掉。所以，現(xiàn)在通常不會(huì)直接對(duì)原始信號(hào)進(jìn)行軟閾值化處理。
針對(duì)上面這個(gè)問(wèn)題，傳統(tǒng)的思路是將原始信號(hào)進(jìn)行某種變換，將原始信號(hào)轉(zhuǎn)換成其他形式的表征。理想情況下，在這種轉(zhuǎn)換后的表征里，接近于零的部分，是無(wú)用的噪聲。在這個(gè)時(shí)候，再采用軟閾值化對(duì)轉(zhuǎn)換后的表征進(jìn)行處理。最后，將軟閾值化處理之后的表征，重構(gòu)回去，獲得降噪后的信號(hào)。
舉個(gè)例子，小波分析經(jīng)常作為信號(hào)的變換方法。一種經(jīng)典的小波降噪流程是“小波分解→軟閾值化→小波重構(gòu)”。通過(guò)這種方式，就可以實(shí)現(xiàn)信號(hào)的降噪。
然而，這種信號(hào)降噪方式有一些懸而未決的問(wèn)題。首先，在小波分析中，如何構(gòu)建最適合當(dāng)前信號(hào)的小波函數(shù)，或者說(shuō)濾波器、局部濾波算子，一直是一個(gè)很困難的問(wèn)題。換句話說(shuō)，在小波分解之后，可以獲得一個(gè)信號(hào)表征（一組小波系數(shù)）；在這個(gè)信號(hào)表征里面，接近于零的部分，未必就是噪聲，可能還包含著許多有用的信息；對(duì)這個(gè)表征進(jìn)行軟閾值化，可能會(huì)將有用信息給一并刪除了。其次，如何設(shè)置軟閾值化的閾值，也是一個(gè)很困難的問(wèn)題。
（3）深度殘差學(xué)習(xí)（ResNet）
相較于傳統(tǒng)的小波分析，深度學(xué)習(xí)算法（尤其是卷積神經(jīng)網(wǎng)絡(luò)）可以自動(dòng)地學(xué)習(xí)所需要的濾波器，在一定程度上解決了構(gòu)建合適濾波器的問(wèn)題。深度殘差網(wǎng)絡(luò)ResNet是一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)引入跨層連接，降低了模型訓(xùn)練的難度，見(jiàn)下圖：
在跨層連接的作用下，網(wǎng)絡(luò)參數(shù)的訓(xùn)練難度大幅降低，從而更容易訓(xùn)練出效果很好的深度學(xué)習(xí)模型，因此ResNet成為了一種非常知名的方法。深度殘差收縮網(wǎng)絡(luò)就是ResNet的一種改進(jìn)。
到這里就介紹了一些相關(guān)的背景知識(shí)，后續(xù)再介紹深度殘差收縮網(wǎng)絡(luò)的細(xì)節(jié)。
轉(zhuǎn)載網(wǎng)址：
深度殘差收縮網(wǎng)絡(luò)：（一）背景知識(shí) https://www.cnblogs.com/yc-9527/p/11598844.html
深度殘差收縮網(wǎng)絡(luò)：（二）整體思路 https://www.cnblogs.com/yc-9527/p/11601322.html
深度殘差收縮網(wǎng)絡(luò)：（三）網(wǎng)絡(luò)結(jié)構(gòu) https://www.cnblogs.com/yc-9527/p/11603320.html
深度殘差收縮網(wǎng)絡(luò)：（四）注意力機(jī)制下的閾值設(shè)置 https://www.cnblogs.com/yc-9527/p/11604082.html
深度殘差收縮網(wǎng)絡(luò)：（五）實(shí)驗(yàn)驗(yàn)證 https://www.cnblogs.com/yc-9527/p/11610073.html
深度殘差收縮網(wǎng)絡(luò)：（六）代碼實(shí)現(xiàn) https://www.cnblogs.com/yc-9527/p/12091581.html
原文鏈接：
M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898
