文 | 全世界最乖巧的小豬

Graph CNN for Survival Analysis on Whole Slide Pathological Images

這篇論文是基于上一篇論文 | 圖網(wǎng)絡(luò)理論之AGCN在WSI病理圖像上的應(yīng)用，發(fā)表于MICCAI2018，下載地址：沒有下載地址。這里介紹主要方法。

1 WSI圖構(gòu)建

給定從WSI采樣的patch圖像集合，要先去掉在邊界區(qū)域的只包含很少細(xì)胞的patch，所以每個(gè)WSI的基數(shù)||P||都不一樣。因此，WSI建立的圖的尺寸就都不一樣。將patch作為結(jié)點(diǎn)，結(jié)點(diǎn)特征由ImageNet預(yù)訓(xùn)練的VGG-16生成。由于缺少patch標(biāo)簽，無(wú)法用patch進(jìn)一步微調(diào)網(wǎng)絡(luò)。本文將在下一章介紹圖CNN模型如何緩解這一缺陷。圖的邊是通過設(shè)定一對(duì)patch之間歐式距離的閾值來(lái)構(gòu)建的（這是初始圖），是用VGG16的輸出壓縮成128維特征計(jì)算得到，壓縮是用PCA在訓(xùn)練集和測(cè)試集上分別單獨(dú)進(jìn)行的。DeepGraphSurv模型結(jié)構(gòu)如圖1所示。

圖1?DeepGraphSurv模型結(jié)構(gòu)(實(shí)驗(yàn)中結(jié)點(diǎn)個(gè)數(shù)1000+)

2 譜圖卷積

這里依舊跳過我們都很熟了的譜圖卷積。用普通GCN有個(gè)缺陷，初始WSI圖是基于patch特征建立的，VGG16特征提取器沒有在WSIpatches上微調(diào)，因?yàn)槿鄙賞atch標(biāo)簽，因此初始圖可能無(wú)法正確表示W(wǎng)SIpatches之間的拓?fù)浣Y(jié)構(gòu)。

3 生存特定圖

初始圖的缺陷是由于特征網(wǎng)絡(luò)訓(xùn)練不足造成的。有兩個(gè)問題：1）網(wǎng)絡(luò)用了無(wú)關(guān)監(jiān)督（i.e ImageNet標(biāo)簽），2）網(wǎng)絡(luò)沒有在病例圖像上微調(diào)。最好patch特征可以用生存審查標(biāo)簽進(jìn)行微調(diào)。所以本文設(shè)計(jì)了一個(gè)獨(dú)立的圖和（Laplacian）去描述特定的生存相關(guān)的WSIpatches之間的拓?fù)潢P(guān)系[13，15](這里就用了AGCN的方法)。在每個(gè)WSI上單獨(dú)學(xué)習(xí)。由于不同WSI圖的大小和拓?fù)浣Y(jié)構(gòu)不同，直接學(xué)習(xí)不現(xiàn)實(shí)。因此學(xué)習(xí)mahalanobis距離度量M來(lái)評(píng)估邊連接，M隨機(jī)初始化。為了加速收斂，我們讓初始圖作為正則項(xiàng)，最后的圖Laplacian將是：，圖卷積：

然后是重參數(shù)化：。模型參數(shù){}通過生存損失函數(shù)的反向傳播被更新，生存損失函數(shù)保證了微調(diào)特征和圖結(jié)構(gòu)對(duì)于生存分析目的來(lái)說(shuō)是最好的。

4 圖注意力機(jī)制

通常來(lái)說(shuō)WSI中只有幾個(gè)局部RoI關(guān)系到生存分析。隨機(jī)采樣不能保證patched都來(lái)自RoI.（所以我們要想想能不能在采樣的時(shí)候就采得更好？？）注意力機(jī)制提供了一種通過學(xué)習(xí)重要性來(lái)適應(yīng)性地選取patch。在模型中，有一個(gè)并行網(wǎng)絡(luò)基于結(jié)點(diǎn)特征來(lái)學(xué)習(xí)結(jié)點(diǎn)的注意力。這個(gè)網(wǎng)絡(luò)包括兩個(gè)提出的GCN層，輸出是結(jié)點(diǎn)注意力值.給定學(xué)習(xí)到的注意力，輸出R是每個(gè)結(jié)點(diǎn)n的Yn加權(quán)求和：

如上所示，在graph gather層，注意力乘結(jié)點(diǎn)預(yù)測(cè)。注意力網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)共同訓(xùn)練。模型直接生成預(yù)測(cè)風(fēng)險(xiǎn)。整合生存風(fēng)險(xiǎn)回歸和圖特征學(xué)習(xí)。損失函數(shù)：