Nat Med | 多模態(tài)生物醫(yī)學(xué)人工智能

原創(chuàng)?huacishu?圖靈基因?2022-09-22 16:26?發(fā)表于江蘇

收錄于合集#前沿生物大數(shù)據(jù)分析

撰文：huacishu

IF=87.241

推薦度：?????

亮點(diǎn)：

1、作者探索了個性化醫(yī)療、數(shù)字臨床試驗、遠(yuǎn)程監(jiān)測和護(hù)理、流行病監(jiān)測、數(shù)字孿生技術(shù)和虛擬健康助理的應(yīng)用機(jī)會；

2、作者調(diào)查了必須克服的數(shù)據(jù)、建模和隱私挑戰(zhàn)，以實(shí)現(xiàn)多模式人工智能在健康領(lǐng)域的潛力。

斯克利普斯研究所Eric J. Topol教授課題組在國際知名期刊Nat Med在線發(fā)表題為“Multimodal biomedical AI”的論文。來自大型生物庫、電子健康記錄、醫(yī)學(xué)成像等生物醫(yī)學(xué)數(shù)據(jù)的發(fā)展，以及基因組和微生物組測序的較低成本，為開發(fā)捕捉人類健康和疾病復(fù)雜性的多模式人工智能解決方案奠定了基礎(chǔ)。

在這篇綜述中，作者探索了個性化醫(yī)療、數(shù)字臨床試驗、遠(yuǎn)程監(jiān)測和護(hù)理、流行病監(jiān)測、數(shù)字孿生技術(shù)和虛擬健康助理的應(yīng)用機(jī)會。此外，作者調(diào)查了必須克服的數(shù)據(jù)、建模和隱私挑戰(zhàn)，以實(shí)現(xiàn)多模式人工智能在健康領(lǐng)域的潛力。

雖然人工智能（AI）工具已經(jīng)改變了幾個領(lǐng)域（例如，語言翻譯、語音識別和自然圖像識別），但醫(yī)學(xué)領(lǐng)域卻落后了。這主要是由于數(shù)據(jù)中包含大量獨(dú)特的特征或信號，導(dǎo)致在開發(fā)和驗證適用于不同人群的解決方案時面臨技術(shù)挑戰(zhàn)。然而，現(xiàn)在可穿戴傳感器的廣泛使用和數(shù)據(jù)采集、聚合和分析能力的提高，以及基因組測序和相關(guān)“組學(xué)”技術(shù)成本的降低。這為新型工具奠定了基礎(chǔ)，并在生物醫(yī)學(xué)發(fā)現(xiàn)、診斷、預(yù)后、治療和預(yù)防方面提供價值。

多模式人工智能模型的開發(fā)將包括生物傳感器、遺傳、表觀遺傳學(xué)、蛋白質(zhì)組學(xué)、微生物組學(xué)、代謝組學(xué)、成像、文本、臨床、社會決定因素和環(huán)境數(shù)據(jù)在內(nèi)的多種模式的數(shù)據(jù)整合在一起，并實(shí)現(xiàn)廣泛應(yīng)用，包括個體化醫(yī)療、綜合、實(shí)時流行病監(jiān)測、數(shù)字臨床試驗和虛擬健康教練（圖1）。在這篇綜述中，作者探討了在醫(yī)療保健中使用這種多模態(tài)數(shù)據(jù)集的機(jī)會；然后，討論了關(guān)鍵挑戰(zhàn)和有希望的戰(zhàn)略。

利用多模式數(shù)據(jù)的機(jī)會

精準(zhǔn)健康的個性化“組學(xué)”

隨著過去二十年來測序技術(shù)的顯著進(jìn)步，可以使用新技術(shù)開發(fā)獲得的生物數(shù)據(jù)量發(fā)生了一場革命。這些統(tǒng)稱為“omes”，包括基因組、蛋白質(zhì)組、轉(zhuǎn)錄組、免疫組、表觀基因組、代謝組和微生物組。

每個組學(xué)在不同的臨床和研究環(huán)境中顯示了各自的價值。惡性腫瘤的基因和分子標(biāo)記物已被納入臨床實(shí)踐，美國食品和藥物管理局（FDA）批準(zhǔn)了若干配套診斷設(shè)備和基于核酸的測試。例如，基礎(chǔ)醫(yī)學(xué)提供了全面的基因組分析，以確定潛在的治療靶點(diǎn)為最終目標(biāo)。除了這些分子標(biāo)記物之外，液體活檢樣本和易于獲取的生物液體（如血液和尿液）正在成為精確腫瘤學(xué)中廣泛使用的分析工具，一些基于循環(huán)腫瘤細(xì)胞和循環(huán)腫瘤DNA的測試已經(jīng)獲得FDA批準(zhǔn)。

除腫瘤學(xué)外，遺傳數(shù)據(jù)的可用性和共享顯著增加，這使得全基因組關(guān)聯(lián)研究和復(fù)雜人類條件和特征的遺傳結(jié)構(gòu)特征化成為可能。這提高了我們對生物途徑的理解，并產(chǎn)生了多基因風(fēng)險評分等工具，可能有助于風(fēng)險分層和個體化治療，以及在臨床研究中豐富最有可能從干預(yù)措施中受益的參與者的招募。

數(shù)字化臨床試驗

隨機(jī)臨床試驗是研究因果關(guān)系的金標(biāo)準(zhǔn)研究設(shè)計，并提供證據(jù)支持在臨床醫(yī)學(xué)中使用新的診斷、預(yù)后和治療干預(yù)措施。但是，規(guī)劃和執(zhí)行高質(zhì)量的臨床試驗不僅耗時，而且也非常昂貴。數(shù)字化臨床試驗可以提供一個前所未有的機(jī)會來克服這些限制，減少參與者注冊和保留的障礙，促進(jìn)參與，優(yōu)化試驗測量和干預(yù)。同時，數(shù)字技術(shù)的使用可以提高從參與者獲得的信息的粒度，從而提高這些研究的價值。

臨床試驗中的患者招募和保留至關(guān)重要，但仍然是一個挑戰(zhàn)。在這種情況下，人們對綜合控制方法的利用越來越感興趣（即使用外部數(shù)據(jù)創(chuàng)建控制）。利用來自不同模態(tài)的數(shù)據(jù)的人工智能模型可能有助于識別或生成最佳合成控制。

遠(yuǎn)程監(jiān)控：家中醫(yī)院

生物傳感器、連續(xù)監(jiān)測和分析的最新進(jìn)展提高了在家中模擬醫(yī)院環(huán)境的可能性。這提供了顯著降低成本、減少對醫(yī)療人員的需求、避免醫(yī)院感染和醫(yī)療設(shè)施中發(fā)生的醫(yī)療錯誤的承諾，以及與家人在一起的舒適、便利和情感支持。

在這種情況下，可穿戴傳感器在遠(yuǎn)程患者監(jiān)測中起著至關(guān)重要的作用?？梢詼?zhǔn)確測量多種生理指標(biāo)的相對便宜的非侵入性設(shè)備的可用性正在迅速增加。將這些數(shù)據(jù)與使用快速醫(yī)療互操作資源等標(biāo)準(zhǔn)從EHR中獲得的數(shù)據(jù)相結(jié)合，這是一種用于交換醫(yī)療數(shù)據(jù)以查詢有關(guān)患者潛在疾病風(fēng)險的相關(guān)信息的全球行業(yè)標(biāo)準(zhǔn)，可以為患者和護(hù)理人員創(chuàng)造更個性化的遠(yuǎn)程監(jiān)控體驗。

來自這些多模態(tài)和傳感器的數(shù)據(jù)的集成為改進(jìn)遠(yuǎn)程患者監(jiān)測提供了一個有希望的機(jī)會，一些研究已經(jīng)證明了這些場景中多模態(tài)數(shù)據(jù)的潛力。除了慢性或退行性疾病的管理之外，多模式遠(yuǎn)程患者監(jiān)測也可用于急性疾病。

大流行監(jiān)測和疫情檢測

當(dāng)前的新冠肺炎大流行突出了在國家和州一級進(jìn)行有效傳染病監(jiān)測的必要性，一些國家成功地整合了來自手機(jī)使用和醫(yī)療服務(wù)數(shù)據(jù)的多模式數(shù)據(jù)，以預(yù)測疫情的傳播并識別潛在病例。一項研究還證明了利用可穿戴設(shè)備跟蹤的靜息心率和睡眠時間來改善美國流感樣疾病的監(jiān)測。大流行防備和應(yīng)對中多模式人工智能模型取得了有希望的結(jié)果，但需要進(jìn)一步驗證和復(fù)制這些結(jié)果。

數(shù)字孿生技術(shù)

數(shù)字孿生技術(shù)是從工程學(xué)中借用的概念，它使用復(fù)雜系統(tǒng)（例如，城市、飛機(jī)或患者）的計算模型來開發(fā)和測試不同的策略或方法，比在現(xiàn)實(shí)場景中更快、更經(jīng)濟(jì)。在醫(yī)療保健領(lǐng)域，數(shù)字孿生技術(shù)是一種很有前途的藥物靶點(diǎn)發(fā)現(xiàn)工具。開發(fā)能夠有效地從所有這些數(shù)據(jù)模式中學(xué)習(xí)的人工智能模型，以進(jìn)行實(shí)時預(yù)測，是至關(guān)重要的。

虛擬健康助理

最近對以健康為重點(diǎn)的會話代理應(yīng)用程序的審查發(fā)現(xiàn)，其中大多數(shù)依賴基于規(guī)則的方法和預(yù)定義的應(yīng)用程序引導(dǎo)的對話。這些虛擬健康助手最受歡迎的應(yīng)用之一是糖尿病護(hù)理。不幸的是，這些應(yīng)用大多僅在小型觀察性研究中進(jìn)行了測試，還需要更多的研究，包括隨機(jī)臨床試驗，以評估其益處。

展望未來，人工智能模型中多個數(shù)據(jù)源的成功集成將有助于開發(fā)重點(diǎn)廣泛的個性化虛擬健康助理。這些虛擬健康助理可以利用基于基因組測序、其他組學(xué)、血液生物標(biāo)志物和代謝物的連續(xù)監(jiān)測、生物傳感器和其他相關(guān)生物醫(yī)學(xué)數(shù)據(jù)的個性化配置，以促進(jìn)行為改變、回答健康相關(guān)問題、分診癥狀或在適當(dāng)時與醫(yī)療保健提供者溝通。

多模式數(shù)據(jù)收集

成功開發(fā)多模式數(shù)據(jù)支持應(yīng)用程序的第一個要求是收集、整理和協(xié)調(diào)表型良好的大型數(shù)據(jù)集。這些數(shù)據(jù)集中多模態(tài)數(shù)據(jù)的可用性可能有助于在一系列不同任務(wù)中實(shí)現(xiàn)更好的診斷性能。例如，在識別肺栓塞和區(qū)分急性呼吸衰竭（如心力衰竭、肺炎或慢性阻塞性肺疾?。┑某Ｒ娫蚍矫?，成像和EHR數(shù)據(jù)的組合優(yōu)于單獨(dú)使用這些方法。其他專注于精神疾病的研究，如用于早期精神病管理的個性化預(yù)后工具，也收集了幾種類型的數(shù)據(jù)，并已授權(quán)開發(fā)多模式機(jī)器學(xué)習(xí)。

技術(shù)挑戰(zhàn)

實(shí)施和建模挑戰(zhàn)

健康數(shù)據(jù)本質(zhì)上是多模態(tài)的。我們的健康狀況包括許多領(lǐng)域（社會、生物和環(huán)境），這些領(lǐng)域以復(fù)雜的方式影響我們。此外，這些領(lǐng)域中的每一個都是分層組織的，數(shù)據(jù)從宏觀層面（例如，疾病存在或不存在）到深入微觀層面（例如生物標(biāo)志物、蛋白質(zhì)組學(xué)和基因組學(xué)）。多模態(tài)機(jī)器學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個子領(lǐng)域，旨在開發(fā)和訓(xùn)練能夠利用多種不同類型數(shù)據(jù)的模型，并學(xué)習(xí)將這些多模態(tài)關(guān)聯(lián)起來或組合起來，以提高預(yù)測性能。

DeepMind（Alphabet）提出了一個具有相同主干架構(gòu)的跨模式學(xué)習(xí)框架。重要的是，感知者架構(gòu)的輸入是模態(tài)無關(guān)字節(jié)數(shù)組，通過壓縮以避免依賴于內(nèi)存成本（圖2a）。在處理這些輸入之后，感知者然后可以將表示反饋到最終分類層以獲得每個輸出類別的概率，而感知者可以通過指定感興趣任務(wù)的查詢向量將這些表示直接解碼為任意輸出，例如像素、原始音頻和分類標(biāo)簽。除了成功治療反應(yīng)的概率之外，該模型還可以輸出正在發(fā)展的腦腫瘤的預(yù)測成像。

事實(shí)上，DeepMind的一項研究表明，管理更高質(zhì)量的圖像-文本數(shù)據(jù)集可能比生成大型單模態(tài)數(shù)據(jù)集以及算法開發(fā)和訓(xùn)練的其他方面更重要。然而，在生物醫(yī)學(xué)人工智能環(huán)境中，這些數(shù)據(jù)可能不易獲得。這個問題的一個可能解決方案是利用來自一種模式的可用數(shù)據(jù)來幫助學(xué)習(xí)另一種模式，這是一種稱為“共同學(xué)習(xí)”的多模式學(xué)習(xí)任務(wù)。

另一個重要的建模挑戰(zhàn)涉及多模式健康數(shù)據(jù)中包含的維度數(shù)量。隨著維度（即數(shù)據(jù)集中包含的變量或特征）的數(shù)量增加，攜帶這些特征的某些特定組合的人數(shù)減少（或?qū)τ谀承┙M合，甚至消失），導(dǎo)致“數(shù)據(jù)集盲點(diǎn)”，即，特征空間中沒有任何觀察的部分（特征或變量的所有可能組合的集合）。這些數(shù)據(jù)集盲點(diǎn)可能會損害模型在實(shí)際預(yù)測方面的性能，因此應(yīng)在模型開發(fā)和評估過程的早期予以考慮。

多模式融合是一個通用概念，可以使用任何架構(gòu)選擇來解決。雖然不是生物醫(yī)學(xué)，但可以從一些人工智能成像工作中學(xué)習(xí)；現(xiàn)代引導(dǎo)圖像生成模型（如DALL-E和GLIDE）通常將來自不同模態(tài)的信息連接到同一編碼器中。這種方法在DeepMind最近進(jìn)行的一項研究中被證明，該研究表明，連接由文本、圖像和按鈕等創(chuàng)建的各種標(biāo)記，可以用來教模型執(zhí)行不同任務(wù)（圖2b）。

數(shù)據(jù)挑戰(zhàn)

支撐健康的多維數(shù)據(jù)在收集、鏈接和注釋這些數(shù)據(jù)方面帶來了廣泛的挑戰(zhàn)。醫(yī)學(xué)數(shù)據(jù)集可以沿著幾個軸進(jìn)行描述，包括樣本大小、表型深度、隨訪時間長度和間隔、參與者之間的互動程度、參與者的異質(zhì)性和多樣性、數(shù)據(jù)的標(biāo)準(zhǔn)化和協(xié)調(diào)程度以及數(shù)據(jù)源之間的聯(lián)系量。雖然科學(xué)和技術(shù)在促進(jìn)數(shù)據(jù)收集和表型分析方面取得了顯著進(jìn)步，但生物醫(yī)學(xué)數(shù)據(jù)集的這些特征之間不可避免地存在著權(quán)衡。

目前正在進(jìn)行努力，為生物醫(yī)學(xué)數(shù)據(jù)集提供有意義的協(xié)調(diào)，例如由觀測健康數(shù)據(jù)科學(xué)和信息學(xué)合作開發(fā)的觀測醫(yī)療結(jié)果伙伴關(guān)系共同數(shù)據(jù)模型。協(xié)調(diào)極大地促進(jìn)了研究工作，提高了再現(xiàn)性和轉(zhuǎn)化為臨床實(shí)踐。然而，協(xié)調(diào)可能會模糊某些疾病的相關(guān)病理生理過程。

實(shí)踐證明，在種族/族裔、血統(tǒng)、收入水平、教育水平、醫(yī)療保健獲得、年齡、殘疾狀況、地理位置、性別和性取向方面實(shí)現(xiàn)多樣性是困難的。基因組學(xué)研究是一個突出的例子，絕大多數(shù)研究集中于歐洲血統(tǒng)的個體。然而，生物醫(yī)學(xué)數(shù)據(jù)集的多樣性是至關(guān)重要的，因為它是確保更廣泛人群普遍性的第一步。除了這些考慮之外，多模式人工智能的一個必要步驟是適當(dāng)鏈接數(shù)據(jù)集中可用的所有數(shù)據(jù)類型，這是另一個挑戰(zhàn)，因為識別個人和監(jiān)管限制的風(fēng)險越來越大。

生物醫(yī)學(xué)數(shù)據(jù)的另一個常見問題是丟失數(shù)據(jù)的比例通常很高。雖然在某些情況下，在培訓(xùn)前簡單排除缺失數(shù)據(jù)的患者是一種選擇，但當(dāng)其他因素影響缺失數(shù)據(jù)時，可能會出現(xiàn)選擇偏差，并且通常更適合使用統(tǒng)計工具解決這些差距，例如多重插補(bǔ)。因此，插補(bǔ)是從基因組學(xué)到臨床數(shù)據(jù)等許多生物醫(yī)學(xué)科學(xué)領(lǐng)域中普遍存在的預(yù)處理步驟。

隱私挑戰(zhàn)

健康領(lǐng)域多模態(tài)人工智能的成功開發(fā)需要數(shù)據(jù)的廣度和深度，這比單模態(tài)人工智能模型包含更高的隱私挑戰(zhàn)。鑒于這些挑戰(zhàn)，已經(jīng)提出并探索了多種技術(shù)解決方案，以確保訓(xùn)練多模式人工智能模型時的安全和隱私，包括差分隱私、聯(lián)合學(xué)習(xí)、同態(tài)加密和群學(xué)習(xí)。重要的是，這些方法通常是互補(bǔ)的，它們可以而且應(yīng)該一起使用。

結(jié)論

多模式醫(yī)療人工智能解鎖了醫(yī)療保健領(lǐng)域的關(guān)鍵應(yīng)用，除此之外還有許多其他領(lǐng)域。藥物發(fā)現(xiàn)領(lǐng)域是一個相關(guān)的例子，許多任務(wù)可以利用多維數(shù)據(jù)，包括目標(biāo)識別和驗證、藥物相互作用預(yù)測和副作用預(yù)測。雖然作者解決了使用多模式人工智能的許多重要挑戰(zhàn)，但本綜述范圍之外的其他挑戰(zhàn)也同樣重要，包括假陽性的可能性以及臨床醫(yī)生應(yīng)如何解釋患者的風(fēng)險。

憑借捕獲多維生物醫(yī)學(xué)數(shù)據(jù)的能力，我們面臨著深入了解每個個體獨(dú)特性的表型的挑戰(zhàn)。需要跨行業(yè)和部門協(xié)作，以收集和鏈接大型和多樣的多模式健康數(shù)據(jù)。然而，在這個關(guān)鍵時刻，我們在整理和存儲這些數(shù)據(jù)方面比在數(shù)據(jù)分析方面要好得多。為了有意義地處理這些高維數(shù)據(jù)并實(shí)現(xiàn)許多令人興奮的應(yīng)用，需要醫(yī)學(xué)界和人工智能研究人員的集中共同努力來構(gòu)建和驗證新模型，并最終證明其對改善健康結(jié)果的效用。

教授介紹

Eric Topol在羅切斯特大學(xué)獲得醫(yī)學(xué)學(xué)位，在加利福尼亞大學(xué)、舊金山和約翰·霍普金斯大學(xué)接受培訓(xùn)后，前往密歇根大學(xué)，是分子醫(yī)學(xué)系教授，也是Scripps Research的執(zhí)行副總裁，Scripps Research Translational Institute的創(chuàng)始人和主任。他的工作融合了基因組學(xué)、大數(shù)據(jù)、信息技術(shù)和數(shù)字健康技術(shù)，以推進(jìn)個性化醫(yī)療的前景。2016年，美國國家衛(wèi)生研究院授予托波爾博士2.07億美元的贈款，用于領(lǐng)導(dǎo)“全美國研究計劃”的重要部分，這是一項長期研究，旨在了解一個人的遺傳、環(huán)境和生活方式如何指導(dǎo)預(yù)防或治療疾病的方法。Eric Topol發(fā)表了1100多篇同行評議文章，他的20多萬篇引文使他躋身湯森路透科學(xué)信息研究所（Thomson Reuters’Institute for Scientific Information）的醫(yī)學(xué)領(lǐng)域被引用最多的前10名研究人員之列。Eric Topol被廣泛視為美國最具影響力的醫(yī)生領(lǐng)袖之一，他著有兩本關(guān)于醫(yī)學(xué)未來的暢銷書：《醫(yī)學(xué)的創(chuàng)造性破壞》和《患者將看到你》。他的下一本書《深度醫(yī)學(xué)》，專注于人工智能，將于2019年出版。?

參考文獻(xiàn)

Acosta JN, Falcone GJ, Rajpurkar P, Topol EJ. Multimodal biomedical AI. Nat Med. 2022;10.1038/s41591-022-01981-2. doi:10.1038/s41591-022-01981-2