疾病診斷泛讀系列（一）—— The Graph-based Mutual Attentive Network for Automatic Diagnosis

一、寫(xiě)在前面的話(huà)

  1. 論文的相關(guān)背景

疾病的自動(dòng)診斷是指根據(jù)電子病歷信息自動(dòng)地診斷患者所患的疾病。EMR通常包含以下信息：

其中，CC（chief com- plaint）是病人自述自己的癥狀或（和）體征、性質(zhì)以及持續(xù)時(shí)間等內(nèi)容，HPI（history of present illness）是記述患者病后的全過(guò)程（即發(fā)生、發(fā)展、演變和診治經(jīng)過(guò)），PE（physical examination）是各項(xiàng)體格檢查，SE（supplementary examination）是其他各類(lèi)檢查報(bào)告，F(xiàn)inding是通過(guò)NER獲得癥狀實(shí)體

  1. 論文摘要翻譯

疾病自動(dòng)診斷領(lǐng)域一直存在缺乏高質(zhì)量的語(yǔ)料訓(xùn)練預(yù)測(cè)模型的問(wèn)題。此外，先前基于深度學(xué)習(xí)的診斷模型大多采用CNN或RNN對(duì)文本信息進(jìn)行直接建模，導(dǎo)致關(guān)鍵醫(yī)療實(shí)體之間的復(fù)雜結(jié)構(gòu)信息未被有效利用。在本文中，我們基于來(lái)自實(shí)際醫(yī)院的高質(zhì)量電子病歷文檔構(gòu)建診斷模型，以提高所得模型的準(zhǔn)確性和可信度。同時(shí)，我們將圖卷積網(wǎng)絡(luò)引入到模型中，以減輕稀疏特征問(wèn)題，并促進(jìn)模型融入圖結(jié)構(gòu)信息。此外，我們引入文本與圖結(jié)構(gòu)的相互注意力機(jī)制增強(qiáng)輸入的表示，從而獲得更好的模型性能。本文最后在真實(shí)EMR上對(duì)模型進(jìn)行評(píng)估，結(jié)果表明與先前僅使用序列學(xué)習(xí)的診斷模型相比，本文所提出的模型更準(zhǔn)確。該模型已被納入部分中國(guó)的初級(jí)衛(wèi)生保健機(jī)構(gòu)的信息系統(tǒng)，以協(xié)助醫(yī)生進(jìn)行診斷過(guò)程。

  1. 論文的主要?jiǎng)?chuàng)新和貢獻(xiàn)

    • 針對(duì)疾病自動(dòng)診斷模型未能利用關(guān)鍵醫(yī)療實(shí)體之間的結(jié)構(gòu)信息的問(wèn)題，引入圖卷積

    • 引入文本與圖結(jié)構(gòu)的相互注意力機(jī)制

二、論文模型

  1. 模型簡(jiǎn)要：

    • 論文標(biāo)題：The Graph-based Mutual Attentive Network for Automatic Diagnosis

    • 研究領(lǐng)域：疾病診斷

    • 提出時(shí)間：2020

    • 主干網(wǎng)絡(luò)：CNN + BiGRU + GCN

  2. 模型架構(gòu)

  • 輸入

輸入主要可以分成兩部分，一部分是主訴、現(xiàn)病史等純文本（通過(guò)jieba進(jìn)行分詞）另一部分則是NER獲取的醫(yī)療實(shí)體

  • 主干網(wǎng)絡(luò) - MultiChannelCNN

純文本通過(guò)嵌入之后獲得詞向量通過(guò)MultiChannelCNN進(jìn)行特征抽?。?/p>

MultiChannelCNN
  • 主干網(wǎng)絡(luò) - BiGRU

純文本通過(guò)嵌入之后獲得詞向量通過(guò)BiGRU進(jìn)行特征抽?。?/p>

BiGRU

使用平均池化獲取整句的向量表示：

  • 主干網(wǎng)絡(luò) - GCN

想要在診斷時(shí)利用疾病-癥狀的圖結(jié)構(gòu)信息，需要一個(gè)GCN網(wǎng)絡(luò)，該圖結(jié)構(gòu)主要由疾病之間的父子關(guān)系和疾病與癥狀之間的關(guān)系組成

疾病之間的父子關(guān)系是無(wú)權(quán)邊，而疾病與癥狀之間則是有權(quán)邊，邊的權(quán)重由以下公式定義：

其中，n(d_{i})是指包含疾病i的病歷數(shù)，N則是總文檔數(shù)，n(f_{j}|d_{i})是癥狀j在包含疾病i的病歷中出現(xiàn)的次數(shù)

最后，A_{i,j}需要?dú)w一化，歸一化公式如下所示：

文章提到由于A矩陣長(zhǎng)尾現(xiàn)象嚴(yán)重，所以在構(gòu)圖時(shí)對(duì)每一個(gè)疾病僅保留Top5的癥狀

GCN建模部分其實(shí)也是分成兩塊，一塊是對(duì)疾病之間的父子關(guān)系所組成的圖結(jié)構(gòu)進(jìn)行學(xué)習(xí)，獲取疾病的圖嵌入信息：

其中N_{p}(i)是疾病i的所有父節(jié)點(diǎn)集合，N_{c}(i)是疾病i的所有子節(jié)點(diǎn)集合

另一塊則是基于疾病與癥狀所組成的圖結(jié)構(gòu)，學(xué)習(xí)癥狀的嵌入信息：

其中N_{g}(j)是癥狀j的所有鄰居結(jié)點(diǎn)集合（即與癥狀j相連的疾病節(jié)點(diǎn)）

論文中沒(méi)有介紹圖網(wǎng)絡(luò)的訓(xùn)練方式，但論文提到這一塊參考GraphRel，所以應(yīng)該是隨著網(wǎng)絡(luò)一起訓(xùn)練

  • 主干網(wǎng)絡(luò) - Mutual Attentive Network

Attention部分也是分成兩塊，兩者是串行關(guān)系，先是text-guided attention：使用BiGRU部分生成的句子向量與所有從NER獲取的癥狀的圖嵌入做Attention:

最后通過(guò)attention權(quán)重加和所有的癥狀嵌入

接著則是finding guided attention：使用上文通過(guò)attention權(quán)重加權(quán)求和獲得的癥狀向量與MultiChannelCNN生成的向量做Attention：

最后同樣使用attention加權(quán)求和：

  • 主干網(wǎng)絡(luò) - MLP

這一部分就是加權(quán)求和得到的癥狀向量、文本向量以及一些病人的基本信息拼接，通過(guò)全連接層進(jìn)行映射

  • 損失函數(shù)

論文沒(méi)有提到損失，估計(jì)應(yīng)該是交叉熵

三、論文實(shí)驗(yàn)

  1. 實(shí)驗(yàn)數(shù)據(jù)集和指標(biāo)介紹
  • 數(shù)據(jù)集

論文的數(shù)據(jù)集有兩部分，一部分是真實(shí)的醫(yī)療場(chǎng)景中的EMR（神經(jīng)科和心內(nèi)科）數(shù)據(jù)形式見(jiàn)上文相關(guān)背景中的圖片，另一部分是MIMIC-III- 50英文病歷數(shù)據(jù)集

  • 評(píng)測(cè)指標(biāo)

中文數(shù)據(jù)采用 R@1和 P@1，英文數(shù)據(jù)采用 R@5 和P@5

  • 模型診斷展示
  1. 對(duì)比結(jié)果

其中CNN和BiGRU就是將這兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)用在疾病診斷領(lǐng)域，ACNN是在CNN的基礎(chǔ)上加入了gram-level attention，CAML是在CNN的基礎(chǔ)上加入了label-wise attention，GCN、MAN 是僅使用GCN或MAN的情況，GPAP則是使用Parallel Attentive Pooling（這篇還沒(méi)有去研究）

結(jié)果上當(dāng)然是提升，不過(guò)對(duì)比的論文都不是很新。論文加入圖結(jié)構(gòu)信息的部分還是蠻好的，整體下來(lái)思路也很清晰，不過(guò)可惜的是沒(méi)有給代碼。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀(guān)點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容