論文翻譯--深度學習特征表示與醫(yī)學圖像分析的多重實例學習
DEEP LEARNING OF FEATURE REPRESENTATION WITH MULTIPLE INSTANCE LEARNING FOR MEDICAL IMAGE ANALYSIS
2014-北航
摘要
本文研究了用最少的手工標注和良好的醫(yī)學圖像特征表示來完成高級任務的有效性。在醫(yī)學圖像分析中，像細胞這樣的物體具有顯著的臨床特征。以前開發(fā)的功能如SIFT和HARR無法全面表示這些對象。因此，特征表示尤為重要。在本文中，我們研究了通過深度學習（DNN）的特征表示的自動提取。而且，對象的詳細注釋往往是一個模棱兩可的具有挑戰(zhàn)性的任務。我們在分類訓練中使用多實例學習（MIL）框架，具有深度學習的特點。幾個有趣的結論可以從我們的工作中得出：（1）自動特征學習優(yōu)于手動特征; （2）無監(jiān)督方法可以實現(xiàn)接近完全監(jiān)督的方法（93.56％）和（94.52％）; （3）粗標簽的MIL表現(xiàn)（96.30％）超過了精品標簽（95.40％）的監(jiān)督表現(xiàn)。
1.介紹
? ??在醫(yī)學圖像分析中，為分類和分割等高級任務設計一組特定的特征[1,2]是很常見的。 同時，對醫(yī)學圖像的詳細注釋往往是一個模棱兩可的具有挑戰(zhàn)性的任務。 本文以最少的手工注釋和良好的特征表示來解決完成高級任務的效率和效率[4,5,6]。
? ??關于特征表示的文獻豐富。特征提取的主要方法是人工設計特征描述符[7,8]，完全監(jiān)督特征學習[9]和無監(jiān)督特征學習[10]。手動設計的特征描述符[7,11]，包括梯度算子和濾波器組，無法捕捉醫(yī)學圖像中常見的復雜變化。完全監(jiān)督的特征學習[9]需要大量準確的注釋數(shù)據(jù)。獲得這樣的注釋數(shù)據(jù)是耗時的，勞動強度大，模糊不清。無監(jiān)督的特征學習[12,13,14,15]是基于未標記的數(shù)據(jù)。它可以從真實數(shù)據(jù)的統(tǒng)計中學習內在和細微的特征。在本文中，我們研究這些方法在醫(yī)學圖像領域。我們使用SIFT [7]，LBP [8]和L * a * b顏色直方圖作為手工特征。我們將深度學習神經(jīng)網(wǎng)絡中最后一個隱藏層的特征作為完全監(jiān)督特征進行探索。我們采用由K-means聚類算法得到的質心的單層網(wǎng)絡作為無監(jiān)督特征[16]。實驗結果表明，完全監(jiān)督和無監(jiān)督特征學習都優(yōu)于手動特征。另外，我們比較了完全監(jiān)督特征中最后一個隱含層的不同數(shù)量節(jié)點的影響。高維特征優(yōu)于全監(jiān)督特征學習中的低維特征。
? ??在分類等高級任務中，弱監(jiān)督的方法結合了完全監(jiān)督和無監(jiān)督的優(yōu)點[3,17]。 目標是從粗粒度標簽中自動提取細粒度的信息。 多實例學習是我們研究的弱監(jiān)督方法的一種特殊形式。 一個包包含很多實例。 鑒于一系列的包標簽，MIL使用包標簽（粗粒）預測實例標簽（細粒度）。 在本文中，我們研究基于組織病理學圖像的結腸癌分類。 組織病理學圖像被認為是一個袋子。 一個圖像被分割成許多補丁作為實例。 如果袋子包含至少一個陽性實例（癌組織），則袋子被標記為陽性。 如果包包含所有負面情況，則包被標記為否定。
? ??本文組織如下。 在第2節(jié)中，我們描述了特征學習和MIL框架的相關工作。 在第3節(jié)中，我們提出了算法來研究特征學習和弱訓練分類器的效率和有效性。 在第4節(jié)中，我們報告了不同方法的實驗結果。 那么我們的結論在第5節(jié)中介紹。
2.相關工作
? ??我們將相關工作大致分為三個部分：（1）醫(yī)學影像領域的醫(yī)學影像高層次任務;（2）特征學習和分類的深度學習;（3）多實例學習。
? ??醫(yī)學影像領域的分類和分割等高級任務是一個熱門話題。由于圖像的臨床性質，以前的許多工作都集中在特征設計上。主要方法包括手動特征設計，監(jiān)督特征學習和無監(jiān)督特征學習。 Boucheron [18]和Chang [19]專注于手動特征設計，而Le [20]則專注于無監(jiān)督特征學習。 Boucheron等[18]利用細胞核的分割結果作為特征來提高乳腺癌組織病理學圖像的分類準確率。圖像級分類中的特征維度為1035。 Chang等[19]在空間金字塔匹配的不同位置和尺度上提出了核水平的形態(tài)學特征，對腫瘤組織病理學圖像進行分類。 Le等人[20]提出了一個具有非線性響應的雙層網(wǎng)絡，以自動學習組織病理學腫瘤圖像的特征。在我們的工作中，我們比較了結腸組織病理學數(shù)據(jù)集上的三種主要方法。特征學習方法勝過手動特征操作符。
? ??深度學習可以用于計算機視覺和語音等各個領域的分類和特征學習。 深度學習作為分類器用于聲學情感識別[21]和ImageNet中的對象類[22]。 深度學習可以用于特征學習，包括監(jiān)督[9]和無監(jiān)督[20]。 在我們的工作中，我們試圖深入學習與MIL特征表示分類結腸組織病理學圖像。
? ??多實例學習是一個弱監(jiān)督的學習框架。 在訓練中，MIL框架使用最少的手動注釋。 我們以前提出了使用袋級標記數(shù)據(jù)來預測實例級數(shù)據(jù)的框架來分類結腸組織病理學圖像[3,17]。 但是，我們使用MIL的手動功能來完成任務。 在本文中，我們將深度學習的特征表示與MIL框架相結合，對結腸組織病理學圖像進行分類。 該算法將訓練與最小的手動注釋和良好的特征表示相結合。 此外，我們的方法是一般的，可以應用于結腸組織病理學圖像以外的MIL任務。
3.算法
在本節(jié)中，我們將描述在我們的實驗中使用的算法。我們的任務是預測圖像是否為陽性（癌癥）或陰性（非癌癥），并且如果癌癥區(qū)域是陽性的，則概述癌癥區(qū)域。我們將這個問題作為補丁級分類來制定。如果圖像中有任何斑塊被識別為陽性，則圖像將被視為癌癥圖像。否則，所有補丁屬于負面，圖像被視為非癌癥圖像。我們的算法是一個流水線過程如下：（1）從正面（癌癥）和負面（非癌癥）的圖像產(chǎn)生貼片，（2）使用圖像/貼片產(chǎn)生良好的特征表示，（3）提取特征通過學習特征模型或手工特征算子，（4）通過使用受到完全監(jiān)督或弱監(jiān)督訓練的分類器將補丁分類為正面或負面，以及（5）獲得補丁級分類結果。圖1是算法圖。我們將詳細介紹流水線過程中的一些關鍵步驟。
3.1 完全監(jiān)督的特征學習框架
? ??在這一節(jié)中，我們將描述完全監(jiān)督的特征深度學習算法。 我們提出了一個基于深度學習的系統(tǒng)，在編碼器和解碼器中有一組線性濾波器。 深度學習網(wǎng)絡是從低級特征中獲取高級特征的過程。 低層節(jié)點表示低層特征，而高層節(jié)點表示高層特征。 最后的隱藏層節(jié)點可以表示與下層特征相比的內在特征。 在[9]中也可以找到類似的工作來應用于語音識別。 我們使用深度學習的最后一個隱藏層作為完全監(jiān)督的特征學習。 不同的網(wǎng)絡可以實現(xiàn)不同的性能 類似于[23]，[24]，卷積和最大/平均池是圖像分析中常見的網(wǎng)絡層。
? ??在本文中，我們嘗試兩個網(wǎng)絡來評估最后隱藏層特征的效率和有效性。 在網(wǎng)絡中，一個卷積和池交替使用，沒有完整的連接層（DNN2-F）; 在網(wǎng)絡中最后兩層是卷積和池（DNN1-F）之后的全連接。 卷積和池產(chǎn)生的節(jié)點是巨大的。 在我們的實驗中，維數(shù)是16萬。 主成分分析（PCA）[25]用于減少DNN特征的尺寸。
3.2 無監(jiān)督的特征學習框架
? ??無監(jiān)督的特征學習是一種沒有昂貴的手工注釋的方法。 它可以從真實數(shù)據(jù)的統(tǒng)計中學習內在的和微妙的特征[16]。 鑒于使用未標記數(shù)據(jù)的好處，我們探索了無監(jiān)督的特征學習。 在我們的實驗中，我們使用K-means質心的單層網(wǎng)絡作為無監(jiān)督的特征學習。 我們分別描述了特征學習和特征提取。
? ??特征學習：
接受場（rf）被定義為來自圖像（袋）的h * w補?。▽嵗┑膁 * d子圖像。在我們的工作中步幅設置為1，因此一個貼片總共有（h-d + 1）*（w-d + 1）個接收場（rfs）。對于三通道（RGB）圖像，rf可以描述為R3d2中的矢量。該算法的第一步是生成數(shù)據(jù)集的“質心”。質心也是R3d2中的一個矢量，質心是所有圖像中所有斑塊中“最常見的rfs”。我們從圖像集中隨機提取n個rfs，形成一組向量P，然后運行K-means算法生成k個質心C1，...，Ck。 K-means算法包含t個迭代。在每次迭代中，我們找到P中每個射頻的歐幾里得距離中最接近的質心，并將射頻分配給質心。那么，對于每個質心Ci，我們取當前迭代中分配給該質心的所有rf，并將質心修改為一個新的C？我是所有這些rfs的意思。對t輪進行這樣的迭代之后，質心集合收斂以描述P的最常見的rf。
特征提取：
質心用于從補丁中提取特征。 假設一個補丁的維數(shù)為h * w，那么它有（h - d + 1）*（w - d + 1）rfs。 對于一個rf p∈R3d2，我們可以將其映射到一個Rk向量f（p），其中
fi(p) = max{0, μ ? zi}, 1 ≤ i ≤ k (1)?
and zi = ||p?Ci||2, μ = (?i zi)/k.
Ci是迭代后的最后一個質心。 因此，在Rk中存在（h-d + 1）*（w-d + 1）個向量，然后我們進行匯集過程：將網(wǎng)格分成l * 1個相等的部分（在我們的工作中l(wèi) = 2） 在每個部分中的矢量以獲得Rk中的l * 1個矢量，其可以集中到al * 1 * k維矢量中。 這是輸入補丁的特征向量。
? ??請注意，我們在K均值算法和特征提取過程中不使用任何標簽信息。
3.3 多實例學習
? ??詳細的手冊注釋非常耗時且本質上不明確。另一種方法是使用全局注釋學習本地概念，這是多實例學習（MIL）的主要思想。 MIL是一個弱監(jiān)督的學習框架。訓練集包含由未標記實例組成的標簽袋，任務是預測未看到的袋子和實例的標簽。本文中，一個袋子是一個大尺寸的圖像，一個實例是一個可區(qū)分的補丁。當且僅當包中至少有一個正面實例，即圖像的某些部分，但是可能不是整個圖像是癌癥組織時，該包被標記為正。因此，我們可以制定一個二元MIL模型，優(yōu)化袋分類的損失函數(shù)，而袋分類器是實例分類器的softmax。具體而言，Xi = {xi1，xi2，...。 。 。 ，xim}是訓練集中的第i個包，m是第i個包中的實例個數(shù)，{xi1，xi2，...。 。 。 ，xim}是這個包的實例。 yi∈{-1，+1}是標簽，-1表示負包，+1表示正包。 H（X）∈X→[0,1]和h（x）∈x→[0,1]是baglevel分類器和實例級分類器，給出了bag和instances的正概率。對于袋Xi，H（Xi）= softmax（h（xi1），h（xi2），...，h（xim））。在我們的工作中，softmax函數(shù)是廣義均值（GM）。損失函數(shù)是：
其中1（·）是指示函數(shù)。
????使用梯度下降算法，我們可以迭代訓練弱分類器h'（x）使用權重：
并通過h（x）←h（x）+αh'（x）更新h（x），其中α是通過線搜索獲得的系數(shù)，以使損失函數(shù)最小化。 經(jīng)過足夠的迭代使損失函數(shù)收斂，我們生成一個有效的分類器。 這個算法被稱為MIL-Boost。
4.實驗
4.1數(shù)據(jù)集
????高分辨率組織病理學圖像被用來構建我們的數(shù)據(jù)集。 所有圖像均從132例患者的組織病理學圖像中選取。 由于單個機器的計算能力，每個圖像被設置為10000×10000像素。 這是MIL中提到的一個包。 我們采樣了200×200像素的塊，而重疊步長為100像素，因此我們在圖像中獲得了9801個塊，每個塊都是一個實例。 詳細的數(shù)據(jù)集如下（見表1）：
完全監(jiān)督的數(shù)據(jù)集：
首先我們選擇了30個癌癥的圖像，我們手動分割細胞。 完全封閉在標記的癌癥區(qū)域中的9000個斑塊被用作陽性實例。 從30個非癌癥圖像中，我們隨機抽取9000個斑塊作為陰性實例。 從上述數(shù)據(jù)中隨機選取包含4500個正實例和4500個負實例的訓練集和測試集。 訓練集不僅用于訓練像SVM和DNN這樣的全監(jiān)督學習算法，而且也是弱監(jiān)督學習的評估數(shù)據(jù)集。 圖2顯示了幾個補丁的例子。
弱監(jiān)督的數(shù)據(jù)集：
30個陽性圖像沒有手動分割和83個陰性圖像被用作袋子集，每個圖像包含9801個補丁，因此我們有113個標記袋子和超過100萬個未標記的實例來構建MIL模型。
注釋：
完全監(jiān)督（癌癥區(qū)域）和弱監(jiān)督（袋標簽）的注釋均由兩位病理學家獨立標注。 當有分歧時，第三位高級病理學家會與他們討論以確定事實真相。
4.2 設置
????我們研究了所有200x200補丁的四種不同類型的功能，完成了完全監(jiān)督學習的分類和弱監(jiān)督學習。 在下面的部分中，我們使用[26]中提到的符號來描述我們的DNN的體系結構。
特征提?。菏褂靡韵路椒?/p>
手動特征（MF）：選擇通用對象分類特征，包括SIFT，LBP和L * a * b顏色直方圖。特征維數(shù)為188。
????K-means：為了實現(xiàn)對特征空間的良好表示，我們從Bags Set中隨機抽取1000萬個8×8的感受域，然后將它們聚類到1600個質心，每個實例獲得4×1600 = 6400的尺寸特征。
????DNN1-F：我們培訓了網(wǎng)絡3x200x200-32C5-MP2-32C5-MP2-64C5-MP2-1000N-2N在訓練集上，并在每個補丁上應用優(yōu)化網(wǎng)絡來獲得特征。 最后的完整連接層用于提取維度為1000的特征。
????DNN2-F：與DNN1-F類似，但使用不同的網(wǎng)絡3x200x200-32C5-MP2-32C5-MP2-64C5-MP2-2N。 最后利用conv3層提取特征，特征維數(shù)為160,000。由于維數(shù)較大，采用PCA將DNN特征的維數(shù)壓縮到1000維，并進行了簡化特征的實驗。
DNN1-C：與DNN1-F相同的功能。
DNN2-C：與DNN2-F相同的功能。
完全監(jiān)督學習：使用訓練集訓練具有默認參數(shù)的線性SVM。 分類器用于MF，K-means，DNN1-F和DNN2-F。 我們還使用相同的訓練集提出了上述兩個神經(jīng)網(wǎng)絡（DNN1-C和DNN2-C）的DNN分類結果。
弱監(jiān)督學習：使用MIL-Boost算法進行弱監(jiān)督學習，softmax函數(shù)為r = 5的廣義均值（GM），弱分類器為Decision Stump和Decision Interval，我們運行5000次迭代或直到損失函數(shù)收斂。 用于訓練的模型被用于訓練集，以找到最佳的測試閾值。
總共有1,107,513個補丁，這些特征的尺寸和數(shù)據(jù)大小如表2所示.K-means特征的存儲遠遠大于DNN1-F特征，因為后者具有較小的尺寸并且比前者更稀疏。
4.3 結果
????表3給出了上述所有實驗的測試集的精度。DNN2-F從高維特征的詳細表示中受益，并顯示出最好的準確性。 對K-means特征的弱監(jiān)督學習是最有意思的部分，特征提取和訓練階段都不需要實例標簽，但是它比手動特征執(zhí)行得更好。 隨著更多的未標記數(shù)據(jù)，這種方法可能會導致分類性能接近完全監(jiān)督的培訓方法。
? ??在全監(jiān)督分類中，DNNFs的性能與DNN-Cs類似。 其中，K-means特征簡單，參數(shù)少，準確性接近DNN1-F。 它支持無監(jiān)督的特征提取。
4.4 比較不同的特征
????為了在合理的時間內完成實驗，使用消息傳遞接口（MPI）實現(xiàn)特征提取和模型學習，并在Windows高性能計算（HPC）集群上進行。 我們使用了多達128個計算節(jié)點，每個節(jié)點有8個處理器和16 GB的RAM。 對于DNN訓練和特征提取，我們使用了4個服務器，每個服務器有24個處理器，72 GB RAM和2個NVIDIA Tesla M2090 GPU卡。四個功能集的每個階段的時間成本。
? ??四個特征集的每個階段的時間成本可以在表4中看到。K-means特征的預處理是聚類，DNN特征的預處理是訓練神經(jīng)網(wǎng)絡。 手動特征和K-means特征的特征提取是分布式的，其值是一個計算節(jié)點處理一個10000×10000圖像所需的時間。 MIL-Boost的框架很好地并行化。
????在這些特征提取方法中，手動特征是最快但最不準確的，并且必須針對不同數(shù)據(jù)集精心設計。 K-means特征在提取階段是完全無監(jiān)督的，并以一種穩(wěn)健而有效的方式表示數(shù)據(jù)集。 然而，高計算復雜度和高特征維度不適合大規(guī)模數(shù)據(jù)。 DNN功能是最準確的，但必須使用完全標記的數(shù)據(jù)進行訓練。
5. 結論
????本文提出了一種最小化手工標注和良好特征表示的算法來完成高級任務，如醫(yī)學圖像分析中的分類和分割。我們比較了四個關于結腸癌組織病理學圖像。 實驗結果表明，特征學習優(yōu)于人工特征算子。 無監(jiān)督特征學習（93.56％）的性能接近完全監(jiān)督分類的全監(jiān)督特征學習（94.52％）。
? ??而且，MIL框架在分類上是有效和高效的。 在有監(jiān)督的深度學習特征中，粗標簽的MIL性能（96.30％）超過了精標簽的監(jiān)督性能（95.40％）。
? ??由于在無監(jiān)督特征學習中有限量的無標簽數(shù)據(jù)和單層網(wǎng)絡所產(chǎn)生的特征，無監(jiān)督特征的性能略差于監(jiān)督。為了今后的工作，我們將進行更多的未標記數(shù)據(jù)和多層 網(wǎng)絡在無監(jiān)督的特征學習。 此外，我們將探討使用自動編碼的DNN而不是K-means來學習沒有完全標記的數(shù)據(jù)的特征表示。
