1. 立題依據(jù)

1.1 研究背景與意義

隨著人口老齡化進程的加快、生活競爭壓力的增加及環(huán)境因素的變化，神經(jīng)系統(tǒng)退行性疾病、藥物難治性癲癇（Drug Resistant Epilepsy, DRE）、疼痛及精神疾病等腦功能性疾病患者人數(shù)劇增，全球數(shù)億人口受累。根據(jù)《中國神經(jīng)科學數(shù)字化創(chuàng)新白皮書（2022年）》，截止到2022年，全球已有1/4人口罹患精神或神經(jīng)類疾病，治療相關(guān)疾病帶來的社會負擔占全部疾病的19%。腦功能性疾病已成為全球主要的致殘和致死原因之一，不僅給個人、家庭、社會帶來了沉重的負擔，其治療和機制研究也是巨大的科學難題。

在腦功能性疾病給全球帶來嚴重負擔的背景下，借助于神經(jīng)科學和生物醫(yī)學工程技術(shù)的進步，神經(jīng)調(diào)控成為當前醫(yī)學發(fā)展最快的領(lǐng)域之一，其種類激增，適應(yīng)癥不斷拓展，全球已有數(shù)十萬腦功能性疾病患者從中獲益。

受限于疾病機制本身的復(fù)雜性及既往缺乏有效的研究手段，神經(jīng)調(diào)控的作用機制至今仍處于探索階段。再者，目前尚缺乏可靠的神經(jīng)調(diào)控療效的預(yù)測因素。想要實現(xiàn)精準有效的腦神經(jīng)調(diào)控，首先需要對大腦的自發(fā)活動以及刺激下的腦活動響應(yīng)進行數(shù)學建模。然而大腦由數(shù)百億個神經(jīng)元相互連接，構(gòu)成龐大的腦網(wǎng)絡(luò)，且大腦對外部環(huán)境的感知和行動的響應(yīng)是動態(tài)且快速的，如何構(gòu)建精準且高效的腦網(wǎng)絡(luò)模型仍是一個難題。

1.2 國內(nèi)外研究現(xiàn)狀

1.2.1 神經(jīng)調(diào)控技術(shù)

神經(jīng)調(diào)控技術(shù)是指通過電或化學的作用方式，對大腦中樞、周圍和自主神經(jīng)系統(tǒng)的神經(jīng)元或神經(jīng)網(wǎng)絡(luò)的信號傳遞興奮或抑制或調(diào)節(jié)的作用，主要分為侵入式神經(jīng)調(diào)控技術(shù)和非侵入式神經(jīng)調(diào)控技術(shù)。相比于侵入式調(diào)控技術(shù)，非侵入式的腦調(diào)控手段由于其無創(chuàng)性、低成本、易攜帶特點使得其更易于大規(guī)模推廣、甚至有望實現(xiàn)居家應(yīng)用，更多處于早期的輕癥階段的人群也能收益。以失眠癥為例，閉環(huán)聲學刺激技術(shù)可以可靠地增強非快速眼動睡眠期間的慢波活動[1]，已有廠商基于閉環(huán)聲學刺激開發(fā)出用于改善睡眠的家用頭貼設(shè)備。

本課題研究非侵入式的腦調(diào)控技術(shù)，主要是經(jīng)顱電刺激（Transcranial Electrical Stimulation，tES）。tES主要用于神經(jīng)精神疾病的研究，涉及抑郁癥、焦慮癥、癡呆、疼痛等。根據(jù)電流形式分為經(jīng)顱直流電刺激、經(jīng)顱交流電刺激和經(jīng)顱隨機噪聲刺激。臨床應(yīng)用最多的是經(jīng)顱直流電刺激，其作用原理為微弱直流電透過顱骨在大腦皮質(zhì)誘發(fā)電活動，短期刺激可直接改變神經(jīng)元膜電位極性以改變神經(jīng)元興奮性、長期刺激則通過類似長時程增強或長時程抑制原理調(diào)節(jié)突觸可塑性。

1.2.2 主要存在的問題

受限于疾病機制本身的復(fù)雜性及既往缺乏有效的研究手段，神經(jīng)調(diào)控的作用機制至今仍處于探索階段。再者，目前尚缺乏可靠的神經(jīng)調(diào)控療效的預(yù)測因素，缺乏可用的腦活動解析算法，無法對調(diào)控效果、參數(shù)進行實時監(jiān)測、調(diào)整。以迷走神經(jīng)刺激治療DRE為例，尚無公認的療效預(yù)測指標，當前治療的方式主要是依據(jù)經(jīng)驗，以不斷“試錯”的方式進行，患者需反復(fù)就診進行治療，極其耗時耗力。此外，神經(jīng)反饋通常涉及多個大腦區(qū)域，如何預(yù)測持續(xù)刺激下全腦網(wǎng)絡(luò)狀態(tài)的演變?nèi)匀皇且粋€難題。

臨床上主要通過神經(jīng)成像技術(shù)實現(xiàn)腦功能區(qū)的準確定位，包括功能核磁、功能性近紅外光譜成像、腦電圖、腦磁圖等。雖然在各種神經(jīng)影像上已經(jīng)觀察到神經(jīng)調(diào)控下的腦活動反饋，然而目前針對神經(jīng)影像的分析大多基于傳統(tǒng)的分析方法，一些新的數(shù)據(jù)分析技術(shù)并沒有受到廣泛的認可，隨著計算機技術(shù)和人工智能的發(fā)展，在對神經(jīng)影像數(shù)據(jù)的分析上，我們需要新的范式。

1.2.3 神經(jīng)信息的分析方法

神經(jīng)信息的編、解碼在語言、運動控制上較為成熟，而在精神疾病上仍處于探索階段，結(jié)合機器學習算法的神經(jīng)科學分析手段仍是目前最有效的手段。在監(jiān)督學習的情況下，機器學習可以基于輸入數(shù)據(jù)構(gòu)建模型，“學習”數(shù)據(jù)和目標結(jié)果之間的關(guān)系。然后模型將學習輸入數(shù)據(jù)和目標變量之間的映射，Yan等利用注意力機制設(shè)計一個癲癇發(fā)作預(yù)測模型，在波士頓兒童醫(yī)院和麻省理工學院數(shù)據(jù)庫上學習癲癇放電（輸入）特征，并輸出癲癇預(yù)測，驗證了模型預(yù)測癲癇的可行性[2]。利用機器學習及人工智能技術(shù)，還可以建立刺激-響應(yīng)關(guān)系的學習自適應(yīng)神經(jīng)調(diào)控模型，實時監(jiān)測腦功能狀態(tài)，為閉環(huán)刺激提供反饋信號，進而實現(xiàn)神經(jīng)調(diào)控智能化[3]。

從簡單的線性回歸到復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，每種模型都有自己的模型假設(shè)、數(shù)據(jù)建模方式，各有不同的優(yōu)缺點。如統(tǒng)計學習理論驅(qū)動的支持向量機，支持向量機是一種高維有效、記憶高效且性能良好的分類和回歸方法；或不基于統(tǒng)計學的非線性模型回歸樹，回歸樹提供了隱式生成新特征的分割策略，可用于多模態(tài)嵌入，例如通過將增強的決策樹輸出作為輸入添加到線性分類器[4]。

基于深度學習架構(gòu)的模型構(gòu)建不需要先驗知識，可以提取隱式特征。深度學習方法允許自動提取時空特征，從而形成端到端架構(gòu)[5]。深度學習和傳統(tǒng)機器學習方法的結(jié)合常被用在非神經(jīng)生物學的數(shù)據(jù)集上，然而在神經(jīng)生物學上查閱到相關(guān)的研究還較少。

腦網(wǎng)絡(luò)調(diào)控的計算建模研究主要基于生物物理模型，如針對帕金森病和癲癇的數(shù)值模擬驅(qū)動的開環(huán)刺激模式[6]。生物物理模型基于特定疾病相關(guān)腦區(qū)功能組織的先驗知識，且難以實現(xiàn)個性化治療。數(shù)據(jù)驅(qū)動的建?？梢越鉀Q上述問題[7]，然而數(shù)據(jù)驅(qū)動模型的高延時性以及可解釋性仍是一個問題。本課題將綜合考慮這兩種模式，探索最優(yōu)的建模方法，

1.3 支撐本課題的研究基礎(chǔ)

我目前所在的腦機接口平臺專注于非侵入式腦調(diào)控的研究，包括中科院與臨港實驗室的非人靈長類閉環(huán)睡眠調(diào)控（包括皮層電刺激、腦深部電刺激），與瑞金醫(yī)院、上海精神衛(wèi)生總院合作的失眠癥患者的個性化睡眠調(diào)控、精神類疾病患者的干預(yù)治療、腦卒中患者的運動康復(fù)，以及小鼠卒中模型上經(jīng)顱直流電刺激對運動學習的影響[8]等?？蒲许椖恐械膭游飳嶒灒ㄌ貏e是非人靈長類）為腦調(diào)控模型的驗證提供了珍貴的實驗數(shù)據(jù)，臨床項目中采集的大量神經(jīng)影像數(shù)據(jù)為各種建模方法的探索提供了數(shù)據(jù)支持，如我目前在投的陰極經(jīng)顱直流電刺激改善睡眠的研究，即驗證了非侵調(diào)控中個性化刺激的必要性。

我在研究生期間參與了多項人工智能的應(yīng)用研究，熟悉深度學習模型應(yīng)用到具體場景的全生命周期過程，在知識圖譜和智能問答相關(guān)場景完成了圖網(wǎng)絡(luò)模型的搭建，在神經(jīng)科學這個交叉學科中可以利用自己的專業(yè)知識和經(jīng)驗，快速復(fù)現(xiàn)前沿的算法技術(shù)，不斷嘗試更優(yōu)的腦網(wǎng)絡(luò)建模方法。

2. 研究內(nèi)容

2.1 研究目標與具體內(nèi)容

我的研究目標是實現(xiàn)非侵入式的腦調(diào)控，要實現(xiàn)這個目標，必須要構(gòu)建從腦狀態(tài)表征到腦調(diào)控的腦網(wǎng)絡(luò)模型，具體分為以下幾個階段的目標。

（1）對腦網(wǎng)絡(luò)進行建模，以最基礎(chǔ)的睡眠節(jié)律為分析目標，通過分析睡眠-清醒過程中的腦狀態(tài)變化，探索睡眠調(diào)控機理，建立腦狀態(tài)預(yù)測模型；

（2）設(shè)計非侵入式的腦狀態(tài)調(diào)控方法，在靈長類動物上探索腦網(wǎng)絡(luò)的刺激-響應(yīng)模式，以實現(xiàn)節(jié)律的干預(yù)和睡眠調(diào)控；

（3）將腦網(wǎng)絡(luò)的建模、分析、調(diào)控的方法擴展到臨床，以及其他的神經(jīng)疾病上；

2.1.1 神經(jīng)調(diào)控下的腦網(wǎng)絡(luò)建模

我們都知道大腦由數(shù)百億個神經(jīng)元相互連接，構(gòu)成了龐大的腦網(wǎng)絡(luò)，以目前的計算機算力和最優(yōu)化方法，我們顯然無法在構(gòu)腦網(wǎng)絡(luò)時考慮所有的神經(jīng)元狀態(tài)。而且大腦是一個動態(tài)的非線性系統(tǒng)，大腦對外部環(huán)境的感知和行動的響應(yīng)是動態(tài)且快速的，這給我們對腦網(wǎng)絡(luò)的建模帶來很大的困難。

好在大腦的結(jié)構(gòu)連接是相對靜態(tài)的，我們可以通過彌散張量成像檢測神經(jīng)元的纖維束連接，也可以通過解剖學或者神經(jīng)影像學對腦進行結(jié)構(gòu)或功能分區(qū)。這為我們用網(wǎng)絡(luò)的方法來研究腦網(wǎng)絡(luò)提供了可能，但同時也提出了挑戰(zhàn)：如何構(gòu)建高效且精準的腦網(wǎng)絡(luò)模型來表征大腦靈活的動態(tài)響應(yīng)。如果網(wǎng)絡(luò)模型構(gòu)建的太復(fù)雜，則難以預(yù)測調(diào)控，太簡單則不能反正真實的腦狀態(tài)。

神經(jīng)調(diào)控最終改變行為應(yīng)是通過改變了編碼特定行為細胞集群的可塑性連接[9]。盡管從定義上神經(jīng)調(diào)控是一個發(fā)生在微觀層面的過程，然而在大腦皮層等穩(wěn)定的系統(tǒng)中，微小的變化可能會累積為神經(jīng)元核團和環(huán)路的變化，從而打破興奮/抑制和大規(guī)?；顒拥钠胶?。單個神經(jīng)元活動“投票”輸出來自樹突傳入的輸入，神經(jīng)系統(tǒng)的這一集體特征使計算建模方法成為可能，在這種方法中，群體水平上的神經(jīng)活動可以被關(guān)鍵節(jié)點的統(tǒng)計信息所描述[11]。

神經(jīng)調(diào)控包括多種機制，可能發(fā)生在細胞體遠端或近端的樹突部位，并包括許多不同的過程，突觸間隙上神經(jīng)遞質(zhì)受體密度的改變、鈣離子儲存的釋放以及電壓門控離子通道的控制。以電壓門控離子通道為例，如圖2.1，可以通過整流電壓門控通道的上調(diào)，從而改變不應(yīng)期；或者改變整流電壓門控通道的閾值，從而影響動作電位的傳導。

圖2.1 兩種神經(jīng)調(diào)控機制

在腦網(wǎng)絡(luò)模型中，我們可以控制網(wǎng)絡(luò)的超參數(shù)、網(wǎng)絡(luò)狀態(tài)的轉(zhuǎn)移矩陣系數(shù)，或通過激活函數(shù)控制節(jié)點間信息的傳遞，來模擬神經(jīng)調(diào)控的過程，這些機制不僅對于腦網(wǎng)絡(luò)的建模都具有參考意義，而且可以用來觀察和驗證建模的效果。

2.1.2 在非人靈長類動物上的腦調(diào)控實驗

本課題將使用獼猴模型上的實驗數(shù)據(jù)對腦網(wǎng)絡(luò)進行建模，建立腦狀態(tài)預(yù)測模型，并設(shè)計基于腦網(wǎng)絡(luò)模型的調(diào)控方案；動物實驗主要由實驗室李普哲協(xié)助完成，在本課題的研究計劃中，以睡眠障礙作為切入點進行研究。

獼猴研究會面臨疾病模型的構(gòu)建較為困難。但睡眠障礙則有一些優(yōu)勢。首先睡眠障礙的癥狀容易測量，有睡眠腦電可以作為客觀指標。睡眠的生物學調(diào)控機制以及在嚙齒類動物中研究比較清楚，并且睡眠作為一個本能行為被認為在進化中較為保守，可以推定獼猴的睡眠網(wǎng)絡(luò)的基本成分與嚙齒類類似，這有利于從環(huán)路理論出發(fā)構(gòu)建狀態(tài)動力學，已有研究也證明了tES在臨床上治療失眠癥的有效性[12]。

為了觀察獼猴模型上非侵入式腦調(diào)控的短期刺激-響應(yīng)，李普哲搭建一個實驗系統(tǒng)，包括實驗猴、刺激系統(tǒng)、記錄系統(tǒng)、控制臺等。在獼猴的顱骨上植入了18通道的電極，模仿人的雙極tES，然后用外部的刺激器給電流，使用了無線設(shè)備記錄腦電數(shù)據(jù)。為了記錄獼猴局部場電位，利用立體定位手術(shù)機器人植入了SEEG電極。

實驗設(shè)計了多種刺激范式，包括不同的頻率、刺激時長、刺激強度等。在靈長類動物上記錄的頭皮腦電或局部場電位與人類具有相似的光譜特征[13]，因此可以通過分析獼猴的睡眠腦電來觀察腦調(diào)控對晝夜節(jié)律的長期效應(yīng)。

2.2 擬解決的關(guān)鍵問題和創(chuàng)新之處

機器學習的最新進展為醫(yī)療保健不同領(lǐng)域的算法解決方案開發(fā)開辟了新的領(lǐng)域，為適應(yīng)個體患者需求的神經(jīng)技術(shù)療法鋪平了道路，各種機器學習模型已經(jīng)成功應(yīng)用于有創(chuàng)神經(jīng)調(diào)控的背景下。然而使用機器學習技術(shù)的的腦功能分析與調(diào)控并沒有獲得大范圍的臨床應(yīng)用，一是由于腦網(wǎng)絡(luò)的復(fù)雜性給建模帶來的困難，另外一個重要因素即神經(jīng)調(diào)控的實驗數(shù)據(jù)太少。

具體來說，本課題涉及的主要問題有：

（1）如何構(gòu)建高效且精準的腦網(wǎng)絡(luò)模型來表征大腦靈活的動態(tài)響應(yīng)？

（2）如何驗證腦網(wǎng)絡(luò)模型對腦狀態(tài)及大腦對外部環(huán)境的響應(yīng)的描述？

（3）如何把腦網(wǎng)絡(luò)模型應(yīng)用到臨床上的非侵入式腦調(diào)控治療上？

針對上述問題，本課題的解決方案有以下兩個創(chuàng)新點：

（1）使用數(shù)據(jù)驅(qū)動的深度神經(jīng)網(wǎng)絡(luò)構(gòu)建腦網(wǎng)絡(luò)模型，模型可以表征腦狀態(tài)和刺激-響應(yīng)特性，基于圖網(wǎng)絡(luò)的模型在神經(jīng)調(diào)控機制和神經(jīng)可塑性原理上具有一定的可解釋性；

（2）基于腦網(wǎng)絡(luò)模型在獼猴上實現(xiàn)節(jié)律的干預(yù)和睡眠調(diào)控，驗證腦調(diào)控模型的有效性；

回顧人工智能的發(fā)展的幾個重要時刻，都離不開大數(shù)據(jù)的支持，2022年11月，OpenAI發(fā)布ChatGPT[14]，被專家評價為“真正邁向通用人工智能的第一步”，其背后擁有1750億參數(shù)的GPT3.5模型就是在45TB海量文本語料上訓練的。隨著神經(jīng)影像學的發(fā)展，越來越多的高質(zhì)量數(shù)據(jù)集被公開，包括HCP[15]、TUH-EEG[16]、Chinese HCP[17]等等。此外，實驗室與瑞金醫(yī)院、中山醫(yī)院、上海市精神衛(wèi)生總院等臨床合作也創(chuàng)造了許多有價值的數(shù)據(jù)集，將腦網(wǎng)絡(luò)的建模、分析、調(diào)控的方法拓展到這些數(shù)據(jù)集上，相信能推動神經(jīng)調(diào)控在臨床上的應(yīng)用。

3. 擬采取的研究方法、技術(shù)路線

非侵入式神經(jīng)調(diào)控下的腦網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3.1所示。

圖3.1 腦網(wǎng)絡(luò)模型結(jié)構(gòu)圖

首先在記錄到的數(shù)據(jù)上構(gòu)建腦網(wǎng)絡(luò)，使用多種刺激范式對獼猴施加頭皮電刺激，使用電場仿真計算各個腦區(qū)實際接收到的能量。記錄各種刺激后的腦電數(shù)據(jù)，觀察獼猴模型的刺激-響應(yīng)特性，并以此構(gòu)建腦調(diào)控模型，調(diào)控模型可以反映腦網(wǎng)絡(luò)的刺激-響應(yīng)特性。對于不同調(diào)控目標下的腦狀態(tài)，使用數(shù)據(jù)驅(qū)動的控制模型構(gòu)建個性化的腦調(diào)控方案。

3.1 基于圖的腦網(wǎng)絡(luò)建模

把大腦在t時刻的狀態(tài)描述為X(t)。假設(shè)沒有任何外界能量輸入，且大腦是一個線性時不變系統(tǒng)，那么我們可以用一個簡單的方程來描述大腦的狀態(tài)，如圖3.2。

X(t+1)=A*X(t)

目前大多有關(guān)神經(jīng)調(diào)控的研究基于傳統(tǒng)的控制理論與生物物理模型。隨著人工智能與深度學習的發(fā)展，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network, GNN）越來越受到關(guān)注，近年來引入圖神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學研究，大多旨在使用圖網(wǎng)絡(luò)表征網(wǎng)絡(luò)屬性從而進行疾病檢測[18]，包括使用圖本身的概念（如度、復(fù)雜度、最小生成樹、小世界網(wǎng)絡(luò)等）以及圖編碼向量的隱式屬性。雖然在神經(jīng)調(diào)控方面的工作多數(shù)仍在模擬階段，但動態(tài)的多層圖網(wǎng)絡(luò)模型的應(yīng)用對于理解大腦網(wǎng)絡(luò)的結(jié)構(gòu)、發(fā)展和進化至關(guān)重[18]。

圖3.2腦狀態(tài)????????????????????????圖3.3 圖神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

如果我們用GNN來表示腦狀態(tài)，如圖3.3，那么我們可以將圖的節(jié)點定義為一個神經(jīng)元（或者是一個腦區(qū)），邊E則可以表示神經(jīng)元之間的連接，因為在機器學習中我們以向量來表征特征，所以我們可以用這個連接來表示纖維束連接、功能連接等屬性。此外，如果在這個圖上把所有的點和邊進行加權(quán)，我們還可以得到一個表征當前腦狀態(tài)的行為評分，如情緒評分。

我們可以用多層圖神經(jīng)網(wǎng)絡(luò)來表征腦網(wǎng)絡(luò)，如圖3.4。在每兩層GNN上，使用映射函數(shù)f（如MLP）建立邊E、節(jié)點V、全局向量U之間的關(guān)系。

圖3.4 多層堆疊的圖神經(jīng)網(wǎng)絡(luò)

圖3.5 邊、節(jié)點之間的信息傳遞

在這個過程中，節(jié)點之間的的數(shù)學運算完成了信息的傳遞。如圖3.5，節(jié)點匯聚了相鄰節(jié)點和邊的信息流，這個過程即模擬了神經(jīng)元之間的信息傳遞。在映射函數(shù)f中，我們還可以加入激活函數(shù)項，來模擬電壓門控離子通道等特性，在匯聚了節(jié)點信息流后，我們就可以用圖網(wǎng)絡(luò)的向量來進行行為評分的訓練與預(yù)測。

圖神經(jīng)網(wǎng)絡(luò)是眾多網(wǎng)絡(luò)建模方法的一種，隨著計算機技術(shù)與人工智能的發(fā)展，本課題也將結(jié)合前沿的計算機科學與神經(jīng)生物學理論，探索構(gòu)建更精準、高效的腦網(wǎng)絡(luò)模型。

3.2 非侵入式的神經(jīng)調(diào)控

3.2.1 非侵入式的個性化腦調(diào)控

神經(jīng)調(diào)控的目標是在有輸入u(t)的情況下，將腦狀態(tài)調(diào)整到指定狀態(tài)，即

X(t+1)=A*X(t)+B*u(t)

非侵入式的腦調(diào)控由于其無創(chuàng)性，可以設(shè)置多個調(diào)控通道，以tES為例，可以選擇多通道的腦電帽，在全腦的多個位點給予電刺激。這是非侵入式的腦調(diào)控最大的優(yōu)點，但同時這也帶來了最大的約束，即我們無法精確得到施加電場后每個神經(jīng)元接收到了多少能量，由于個體的差異，同樣的調(diào)控方案對于不同的患者也有不同的治療效果，所以我們需要個性化的腦調(diào)控措施。

為了得到在調(diào)控方案下每個個體精確的輸入u(t)，我們需要對大腦的電場分布進行仿真。目前我參與的上海精神衛(wèi)生總院的臨床實驗，在一項隨機、雙盲和假對照研究中，我們在38名受試者的前額葉上應(yīng)用了陰極經(jīng)顱直流電刺激兩周，并在兩周干預(yù)前后記錄了結(jié)構(gòu)核磁、功能核磁及腦電圖。然后，我們應(yīng)用個性化電場（Electric Field, EF）建模和核磁數(shù)據(jù)分析來探索對tES對睡眠的干預(yù)效果。

電場仿真證實了在相同的刺激參數(shù)和電極擺放位點施加的電場強度在不同患者間存在空間分布差異。對所有患者來說，最大的EF出現(xiàn)在額葉區(qū)域，其大小可能是后腦區(qū)域的10倍。并且同一區(qū)域的平均EF強度在不同的患者中也有差異的，例如，背外側(cè)前額葉皮層（dorsolateral

prefrontal cortex，dlPFC）的場強最小為0.05

V/m，而最大到0.18 V/m。

圖3.6 臨床睡眠實驗的核磁分析結(jié)果

我們進一步驗證了特定腦區(qū)的場強大小是否能影響睡眠評分。如圖3.6，線性回歸分析顯示，dlPFC的ALFF（ALFF是核磁分析的一種方法，表示0.01-0.08Hz的能量，能夠反應(yīng)大腦的自發(fā)活動）的改變率和該腦區(qū)的場強呈現(xiàn)正相關(guān)，同時和匹茲堡睡眠質(zhì)量指數(shù)（PSQI）的降分率呈現(xiàn)正相關(guān)。不同場強下的睡眠改善進一步證明了個性化腦調(diào)控的重要性。

3.2.2 腦調(diào)控模型

神經(jīng)調(diào)控分為短時效應(yīng)和長時效應(yīng)，從神經(jīng)生物學角度來說，短時效應(yīng)通過施加電場改變膜電位，影響神經(jīng)元細胞的去極化和超極化過程，從而改變神經(jīng)元的放電過程及神經(jīng)元之間的信息傳遞。在某個神經(jīng)環(huán)路激活時對其進行增強，就可以實現(xiàn)短期內(nèi)的神經(jīng)環(huán)路增強效果。

在腦網(wǎng)絡(luò)模型中，這個過程通過對節(jié)點狀態(tài)的調(diào)節(jié)來表征。如圖3.7，某些節(jié)點狀態(tài)在外界的輸入能量u(t)下改變，這些節(jié)點狀態(tài)的變化通過邊傳導到相關(guān)的其他節(jié)點，通過映射函數(shù)f更新節(jié)點的狀態(tài)，從而完成對整個圖網(wǎng)絡(luò)的調(diào)節(jié)。

圖3.7 基于圖網(wǎng)絡(luò)的神經(jīng)調(diào)控模型

神經(jīng)調(diào)控的長時效應(yīng)反應(yīng)在神經(jīng)細胞的蛋白表達上，長期的神經(jīng)調(diào)控改變了相關(guān)神經(jīng)環(huán)路的可塑性連接，在不施加外界能量u(t)時，腦網(wǎng)絡(luò)本身的狀態(tài)與動態(tài)特征都與調(diào)控前發(fā)生了改變。

可塑性連接可以視為圖網(wǎng)絡(luò)中的超參數(shù)、轉(zhuǎn)移矩陣系數(shù)、激活函數(shù)，或直接理解為節(jié)點之間的動態(tài)連接，在圖網(wǎng)絡(luò)的訓練過程中，我們可以通過反向傳播修改這些參數(shù)，來擬合大腦的狀態(tài)。

腦調(diào)控模型的建模數(shù)據(jù)均來自于李普哲在獼猴模型上動物實驗。

3.2.3 數(shù)據(jù)驅(qū)動的個性化腦調(diào)控方案

我們知道不同的個體、不同的神經(jīng)元有著不一樣的刺激-響應(yīng)特性，那么如何對腦網(wǎng)絡(luò)施加u(t)，將不同狀態(tài)下的腦網(wǎng)絡(luò)調(diào)控到指定狀態(tài)呢？數(shù)據(jù)驅(qū)動的控制模型不需要特定疾病相關(guān)腦區(qū)功能組織的先驗知識，更有利于實現(xiàn)個性化調(diào)控，本課題將首先嘗試數(shù)據(jù)驅(qū)動的控制模型。

研究表明哺乳動物中腦多巴胺神經(jīng)元的放電與強化學習算法之間存在對應(yīng)關(guān)系[20]，考慮到強化學習已成功應(yīng)用到連續(xù)控制系統(tǒng)中[21]，如自動駕駛等。在獲得腦網(wǎng)絡(luò)模型的刺激-響應(yīng)特性后，我們可以使用強化學習來擬合腦網(wǎng)絡(luò)的調(diào)控過程。如圖3.1所示，我們把大腦視為強化學習中的環(huán)境，Agent即tES系統(tǒng)，根據(jù)在腦網(wǎng)絡(luò)模型上觀測到的腦狀態(tài)，Agent的action定義為tES系統(tǒng)對網(wǎng)絡(luò)施加的電刺激u(t)。根據(jù)腦網(wǎng)絡(luò)模型的刺激-響應(yīng)特性，環(huán)境產(chǎn)生相應(yīng)的變化，根據(jù)腦網(wǎng)絡(luò)的狀態(tài)表征（正?；虍惓顟B(tài)、不同的行為評分等）對Agent給出反饋。如果環(huán)境達到了我們期望的神經(jīng)調(diào)控后的腦狀態(tài)，Agent將得到對應(yīng)的獎勵。訓練完成后，Agent對不同狀態(tài)下給出的action序列，就是對應(yīng)調(diào)控目標下的個性化調(diào)控方案。