題目：用于肺部CT肺結(jié)節(jié)分類(lèi)的深度特征學(xué)習(xí)
(轉(zhuǎn)載請(qǐng)注明出處：【譯】用于肺部CT肺結(jié)節(jié)分類(lèi)的深度特征學(xué)習(xí) (zhwhong))
摘要
在這篇論文，我們提出了一個(gè)重要的在肺部CT確定肺結(jié)節(jié)的方法。具體地說(shuō)，我們?cè)O(shè)計(jì)了一個(gè)從固有的原始手工圖片特征中提取抽象信息的審年度神經(jīng)網(wǎng)絡(luò)。然后我們將深度學(xué)習(xí)出來(lái)的表述和開(kāi)始的原始圖像特征整合到一個(gè)長(zhǎng)的特征矢量中。通過(guò)使用這個(gè)聯(lián)合特征矢量，我們訓(xùn)練了一個(gè)分類(lèi)器，之前通過(guò)了t-test的特征選擇。為了驗(yàn)證提出的方法是有效的，我們用我們的內(nèi)部數(shù)據(jù)集做了實(shí)驗(yàn)。內(nèi)部數(shù)據(jù)集包括3598個(gè)肺結(jié)節(jié)（惡性：178，良性：3420），它們由一個(gè)醫(yī)生手動(dòng)分割。在我們的實(shí)驗(yàn)中，我們最高達(dá)到了95.5%的準(zhǔn)確率，94.4%的敏感率和AUC達(dá)i到了0.987，比與我們競(jìng)爭(zhēng)的其他方法表現(xiàn)優(yōu)良。
I. 介紹
在世界范圍內(nèi)，肺癌死亡是最常見(jiàn)的導(dǎo)致死亡的原因之一[1]。大量的方法被嘗試用來(lái)減低肺癌死亡率。我們知道，一旦癌癥在早期被檢測(cè)出來(lái)，那么治療會(huì)更有效也更有利于我們?nèi)タ朔?。此外，為了減輕醫(yī)生們由于閱讀大量CT而疲勞造成的誤診，計(jì)算機(jī)輔助檢測(cè)引起了人們很大的興趣。
從臨床角度來(lái)看，大于3mm的結(jié)節(jié)一般被稱(chēng)為肺結(jié)節(jié)[2]而更大的結(jié)節(jié)很容易變成癌細(xì)胞。因此，通過(guò)檢測(cè)和觀(guān)察結(jié)節(jié)的診斷篩選是重要的。為了這一目的，計(jì)算機(jī)輔助篩選系統(tǒng)在過(guò)去十年被提出，盡管由于它們的低性能而沒(méi)有被用于臨床。
最近，受到深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)和語(yǔ)言識(shí)別領(lǐng)域的巨大成功的激勵(lì)，很多人努力將這項(xiàng)技術(shù)用于醫(yī)療檢測(cè)，特別是CT中的結(jié)節(jié)檢測(cè)。比如，Roth等人用卷積神經(jīng)網(wǎng)絡(luò)（CNN）[3]，進(jìn)行結(jié)節(jié)檢測(cè)[4]。Ciompi等人，用CNN進(jìn)行結(jié)節(jié)提取用來(lái)識(shí)別肺部圍裂結(jié)節(jié)[5]。為了提高檢測(cè)準(zhǔn)確率，他們同時(shí)利用了軸、冠狀面、矢狀位面的信息。同時(shí)，F(xiàn)akoor等人和Kumar等人，獨(dú)立研究通過(guò)Stacked AutoEncoder（SAE）[6]進(jìn)行心臟基因組分類(lèi)[6]和肺結(jié)節(jié)分類(lèi)[7]。盡管前述的基于深度學(xué)習(xí)的方法在他們自己的實(shí)驗(yàn)中也展現(xiàn)了很多成效，但他們大多忽略了如周長(zhǎng)、圓周、集成密度、中值、偏度、峰值和結(jié)節(jié)這樣的形態(tài)信息，這些信息并不能從卷積深度模型中提取出來(lái)。在這篇論文，我們提出了用深度模型來(lái)尋找潛在的形態(tài)特征，然后將深度學(xué)習(xí)到的信息和原始形態(tài)特征相結(jié)合。至于深度特征學(xué)習(xí)，我們是呀那個(gè)來(lái)Stacked Denosing AutoEncoder（SDAE）[8]。我們的工作受到了Suk等人工作[11]的啟發(fā)，他們將阿爾茨海默氏病的原始的神經(jīng)學(xué)影像特征和深度學(xué)習(xí)特征聯(lián)系到了一起。
II.提出的方法
A.數(shù)據(jù)集和形態(tài)特征
我們收集了20個(gè)病人的CT掃描（男/女：7/13，年齡：63.5+-7.7）.肺結(jié)節(jié)由一個(gè)經(jīng)驗(yàn)豐富的醫(yī)生手工分割?？傮w上，我們有178個(gè)惡性和3420個(gè)良性結(jié)節(jié)（Table 1）.Figure 1給出了肺結(jié)節(jié)采樣的樣例，它們內(nèi)部和之間變化很大，給結(jié)節(jié)分類(lèi)帶來(lái)了挑戰(zhàn)。從每個(gè)結(jié)節(jié)我們提取了96個(gè)形態(tài)特征，即 area, mean Hounsfield Units (HU) 1 , standard deviation,mode, min, max, perimeter, circularity diameter, integrateddensity, median, skewness, kurtosis, raw integrated density,ferret angle, min ferret, aspect, ratio, roundness, solidity,entropy, run length matrix (44 values) [9], and gray-level cooccurrence matrix (32 values) [10].
B.學(xué)習(xí)高度相關(guān)信息
為了更好的利用特征信息，我們用SDAE來(lái)發(fā)現(xiàn)形態(tài)特征之間潛在的非線(xiàn)性相關(guān)。SDAE的結(jié)構(gòu)是按照等級(jí)劃分的方式堆棧（stackong）多個(gè)自動(dòng)編碼器（autoencoder）。一個(gè)AE是一個(gè)有一個(gè)輸入層一個(gè)隱藏層和一個(gè)輸出層的多層神經(jīng)網(wǎng)絡(luò)。輸入輸出層神經(jīng)元的個(gè)數(shù)由輸入特征x∈R**d即d，而隱藏層神經(jīng)元的數(shù)量可以是任意個(gè)。在AE中，隱藏層（h）和輸出層（o）神經(jīng)元的值如下得到：
其中Φ(.)是一個(gè)非線(xiàn)性sigmoid函數(shù)。其中W和b這樣的參數(shù)通過(guò)不斷學(xué)習(xí)這樣隱藏層神經(jīng)元可以覆蓋輸入特征的值，即x≈o。然而，為了使AE對(duì)于不希望的噪音更健壯，我們可以稍稍改動(dòng)訓(xùn)練協(xié)議。實(shí)際上，在訓(xùn)練時(shí)我們通過(guò)增加隨機(jī)噪音故意污染原始輸入值，但是訓(xùn)練模型使輸出層的值和原來(lái)的沒(méi)有被污染的值接近。這種模型被稱(chēng)作“Denosing AutoEncoder”(DAE)[8]。關(guān)于autoecnoder的原理
注意隱藏層神經(jīng)元的值可以被用作輸入特征在新空間的另一表示，不同的唯獨(dú)代表了對(duì)原始特征的不同聯(lián)系。通過(guò)按等級(jí)堆棧許多DAE這樣隱藏單元的值成了下一個(gè)更高AE的輸入，我們建立了一個(gè)深度結(jié)構(gòu)，我們稱(chēng)之為‘Stacked Denoising AutoEncoder’(SDAE)。
DAE的一個(gè)顯著優(yōu)點(diǎn)是它的參數(shù)可以通過(guò)非監(jiān)督的方式學(xué)習(xí)。所有我們可以利用盡可能多的訓(xùn)練實(shí)例而不管它們的標(biāo)記信息是否被驗(yàn)證。這個(gè)有利的特征之后可以通過(guò)預(yù)訓(xùn)練的方法[11]尋找‘好’的SDAE初始值參數(shù)上被利用。
簡(jiǎn)而言之，一個(gè)SDAE首先通過(guò)一個(gè)非監(jiān)督的方式預(yù)訓(xùn)練然后預(yù)訓(xùn)練的參數(shù)值作為初始值來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，通過(guò)在SDAE結(jié)構(gòu)上多家一個(gè)標(biāo)簽層。然后我們通過(guò)一個(gè)監(jiān)督方式微調(diào)所有的參數(shù)。在訓(xùn)練SDAE之后，我們?nèi)コ詈蟮碾[藏層的輸出，即我們的SDAE標(biāo)簽層的輸入，作為和固有的原始形態(tài)特征高度相關(guān)的值。我們最后將原始特征和SDAE學(xué)習(xí)到的特征通過(guò)一個(gè)長(zhǎng)矢量聯(lián)系在一起，將其作為我們新的增強(qiáng)特征矢量。
C.特征選擇和分類(lèi)器訓(xùn)練
通過(guò)之前在模式識(shí)別領(lǐng)域的工作，我們很好地了解到在分類(lèi)器選擇千的特征選擇對(duì)提升分類(lèi)器性能是很有幫助的[11]。受他們的工作激勵(lì)，我們應(yīng)用了一個(gè)通過(guò)特征和種類(lèi)標(biāo)簽之間的統(tǒng)計(jì)學(xué)測(cè)試進(jìn)行特征選擇的方法。實(shí)際上，我們對(duì)每個(gè)特征分別進(jìn)行了一個(gè)簡(jiǎn)單的t-test，當(dāng)測(cè)試的p-value大于預(yù)設(shè)門(mén)檻，我們認(rèn)為對(duì)應(yīng)的特征沒(méi)有提供對(duì)分類(lèi)有用的信息?；诒贿x擇的特征，我們最后訓(xùn)練了一個(gè)線(xiàn)性的支持向量機(jī)（SVM），它以及在很多應(yīng)用中證明了它作為一個(gè)分類(lèi)器的效能[12]。
III.實(shí)驗(yàn)結(jié)果
A.實(shí)驗(yàn)設(shè)置
我們?cè)O(shè)計(jì)的SDAE有5層，其中有3層隱藏層。三層隱藏層的神經(jīng)元數(shù)量是300,200,100. 對(duì)于SDAE訓(xùn)練，我們使用了一個(gè)大小為50的mini-batch DeepLearnToolbox。至于AE中的非線(xiàn)性sigmoid函數(shù)，我們使用了雙曲正切函數(shù)(tanh)。為了最好利用我們的數(shù)據(jù)采樣和DAE訓(xùn)練的非監(jiān)督特性，我們使用了我們?cè)陬A(yù)訓(xùn)練（迭代200次）數(shù)據(jù)集中的所有樣例，即178個(gè)惡性結(jié)節(jié)和3420個(gè)良性結(jié)節(jié)。
需要注意由于良性和惡性訓(xùn)練樣例的不平衡，我們從3420個(gè)良性類(lèi)型中隨機(jī)挑選了200個(gè)。在我們的性能評(píng)估中，我們只利用178個(gè)惡性和200個(gè)良性（隨機(jī)挑選）結(jié)節(jié)進(jìn)行了五倍交叉驗(yàn)證。換一句話(huà)，我們將五分之一的樣例放在一邊只用作測(cè)試然后用剩下的五分之四樣例。我們需要強(qiáng)調(diào)的是，在微調(diào)我們的SDAE和SVM學(xué)習(xí)中我們用的五分之四樣例和留下的測(cè)試樣例毫無(wú)關(guān)系。
在微調(diào)SDAE之后，我們通過(guò)聯(lián)合最后隱藏層的輸出即100個(gè)值和原始96維特征得到了一個(gè)196維的增強(qiáng)特征矢量。在特征選擇階段，我們將p-value的門(mén)檻設(shè)置為0.001.最后，我們的SVM的模型超參數(shù)用libSVM庫(kù)(Available at https://www.csie.ntu.edu.tw/~cjlin/libsvm/)由一個(gè)在空間{2**-5, 2**-4,... ,2**4,2**5}的五倍交叉嵌套驗(yàn)證決定。為了驗(yàn)證提出的通過(guò)深度學(xué)習(xí)的特征進(jìn)行的特征增強(qiáng)是效能，我們把我們的方法和一個(gè)只用了原始特征的卷積方法進(jìn)行了比較。需要注意所有其他的對(duì)相比較的方法的設(shè)置和我們提出的方法是完全一樣的。
B.性能表現(xiàn)
我們使用了四個(gè)度量進(jìn)行性能評(píng)測(cè)，即準(zhǔn)確性，敏感性，特異性和接受者操作特意曲線(xiàn)下的區(qū)域（AUC）。Figure 1比較了用不同測(cè)試單元進(jìn)行的性能評(píng)價(jià)AUC的平均值，而其他性能用百分號(hào)表示。Original+SDAE特征在每個(gè)性能表現(xiàn)都更優(yōu)異。特別的，準(zhǔn)確性和敏感性分別提高了2.1%和3.4%。
IV.總結(jié)
在這篇論文，我們提出來(lái)用深度結(jié)構(gòu)去尋找CT掃描的肺結(jié)節(jié)分類(lèi)中潛在的非線(xiàn)性形態(tài)信息。臨床上，在早起階段找到惡性結(jié)節(jié)是十分重要的。我們的深度學(xué)習(xí)特征在分別良性和惡性結(jié)節(jié)方面表現(xiàn)了巨大威力，在敏感度方面有了巨大提高。
Acknowledge
This research was supported by Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education (NRF-2015R1C1A1A01052216).The authors gratefully acknowledge technical supports from Biomedical Imaging Infrastructure, Department of Radiology, Asan Medical Center.
Reference
[1] B. W. Stewart and C. P. Wild, editors, World Cancer Report 2014. Lyon,France: International Agency for Research on Cancer, Feb. 2014.
[2] M. K. Gould, J. Fletcher, M. D. Iannettoni, W. R. Lynch, D. E. Midthun,D. P. Naidich, and D. E. Ost, “Evaluation of Patients with Pulmonary Nodules: When is it lung cancer?: ACCP evidence-based clinical practice guidelines, 2ed edition” Chest, Vol. 132, No. 3, pp. 108-130, Sep. 2007.
[3] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based Learning Applied to Document Recognition,” Proceedings of the IEEE,Vol. 86, No. 11, pp. 2278-2324, Nov. 1998.
[4] H. R. Roth, L. Lu, J. Liu, J. Yao, A. Seff, K. Cherry, L. Kim, and R. M.Summers, “Improving Computer-aided Detection using Convolutional Neural Networks and Random View Aggregation,” arXiv:1505.03046,Sep. 2015.
[5] F. Ciompi, B. de Hoop, S. J. van Riel, K. Chung, E. Th. Scholten, M.Oudkerk, P. A de Jong, M. Prokop, and B. van Ginneken, “Automatic Classification of Pulmonary Peri-Fissural Nodules in Computed Tomography Using an Ensemble of 2D views and a Convolutional Neural Network Out-of-the-Box,” Medical Image Analysis, Vol. 26, No. 1, pp.195-202, Dec. 2015.
[6] R. Fakoor, F. Ladhak, A. Nazi, and M. Huber, “Using Deep Learning to Enhance Cancer Diagnosis and Classification,” Proc. of the ICML Workshop on the Role of Machine Learning in Transforming Healthcare (WHEALTH), Vol 28, June 2013
[7] D. Kumar, A. Wong, and D. A. Clausi, “Lung Nodule Classification Using Deep Features in CT Images,” Proc. 12th Conference on Computer and Robot Vision (CRV), pp. 133-138, June 2015.
[8] P. Vincent, H. Larochelle, I. Lajoie, Y. Bengio, and P. Manzagol,“Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion,” The Journal of Machine Learning Research, Vol. 11, pp. 3371-3408, Mar. 2010.
[9] X. Tang, “Texture Information in Run-length Matrices,” IEEE Transactions on Image Processing, Vol. 7, No. 11, pp.1602-1609, Nov.1998.
[10] R. M. Hatalick, K. Shanmugam, and I. Dinstein, “Textural Features for Image Classificaiton,” IEEE Transactions on Systems, Man and Cybernetics, Vol. 3, No. 6, pp. 610-621, Nov. 1973.
[11] H.-I. Suk, S.-W. Lee, and D. Shen, “Latent Feature Representation with Stacked Auto-Encoder for AD/MCI Diagnosis,” Brain Structure & Function, Vol. 220, No. 2, pp. 841-859, Mar. 2015.
[12] G. E. Hinton and R. R. Salakhutdinov, “Reducing the Dimensionality of Data with Neural Networks,” Science, Vol. 313, No. 5786, pp. 504-507, July 2006.
[13] D. E. Rumelhart, G. E. Hinton, and R. J. Williams, “Learning Representations by Back-propagating Errors,” Nature, Vol. 323, No. 9, pp.533-536, Oct. 1986.
(注：感謝您的閱讀，希望本文對(duì)您有所幫助。如果覺(jué)得不錯(cuò)歡迎分享轉(zhuǎn)載，但請(qǐng)先點(diǎn)擊 這里 獲取授權(quán)。本文由 版權(quán)印 提供保護(hù)，禁止任何形式的未授權(quán)違規(guī)轉(zhuǎn)載，謝謝！)
