統(tǒng)計(jì)研究層次

1. 初級(jí)統(tǒng)計(jì)（描述性統(tǒng)計(jì)）：x±s，
2. 中級(jí)統(tǒng)計(jì)（差異性分析）：t檢驗(yàn)2對象，F(xiàn)檢驗(yàn)3對象，卡方檢驗(yàn)，非參數(shù)檢驗(yàn)
3. 高級(jí)統(tǒng)計(jì)（關(guān)系性分析）：線性回歸，邏輯回歸，cox回歸

三種模型構(gòu)建：

發(fā)現(xiàn)風(fēng)險(xiǎn)（看p值）---驗(yàn)證風(fēng)險(xiǎn)（看B系數(shù)）---預(yù)測結(jié)局（看AIC/BIC，赤池準(zhǔn)則）

風(fēng)險(xiǎn)模型構(gòu)建思路

驗(yàn)證風(fēng)險(xiǎn)模型因素

臨床預(yù)測模型構(gòu)建思路

唯一不同之處在于多個(gè)變量需采用赤池系數(shù)

臨床預(yù)測模型類型

臨床預(yù)測模型的基礎(chǔ)

1. Development 模型構(gòu)建（最優(yōu)模型）
2. Validation 模型驗(yàn)證：區(qū)分度、校準(zhǔn)度、臨床實(shí)用度
3. Visualization 模型可視化：nomogram，量表，網(wǎng)站/app

臨床預(yù)測模型的兩個(gè)問題 診斷+預(yù)后

臨床模型分級(jí)標(biāo)準(zhǔn)

一個(gè)數(shù)據(jù)集：全建模/全建模+重復(fù)抽樣；一個(gè)數(shù)據(jù)集：隨機(jī)分組，部分建模/非隨機(jī)拆分-3年數(shù)據(jù)，前2年建模，第3年驗(yàn)證；一個(gè)數(shù)據(jù)集：分開的數(shù)據(jù)（a醫(yī)院建模b醫(yī)院驗(yàn)證）/驗(yàn)證別人的模型

臨床預(yù)測模型建模人群

區(qū)分度（Discrimination)

• 是指預(yù)測模型把未來發(fā)病風(fēng)險(xiǎn)高低不同的人群準(zhǔn)確的區(qū)分開的能力
• 反映的是把患者與非患者區(qū)分開的能力（明辨是非）；區(qū)分度：定性判定
• 常用指標(biāo)：AUC/C-Index、NRI、IDI (NRI-IDI用于新舊模型比較)
  Logistic： AUC ROC NRI IDI
  Cox：C_index ROC NRI IDI (C-index是針對整個(gè)模型的，其他都可以分時(shí)間點(diǎn)，如1year/3year)

1.C-index (Harrell concordance index,C statistics,C-indices, Concordance indices)

• 對于Logistic回歸，就是ROC分析的AUC (Area Under Curve)
• C-Index：0.5 完全不一致
• C-Index：1.0 完全一致
• C-Index: 0.5-0.7 較低區(qū)分度
• C-Index：0.71-0.90 中等區(qū)分度
• C-Index：>0.90 高度區(qū)分度
  Cox: C_index (for all) ROC(for all & timepoint)
  -- logistic model only one ROC, while Cox can several ROC
  

AUC指標(biāo)優(yōu)勢劣勢對比

2.NRI（Net Reclassification Index，凈重新分類指數(shù)）

• Logistic回歸新舊模型比較只有一個(gè)NRI/IDI；COX回歸針對不同時(shí)點(diǎn)可有多個(gè)
• AUC雖然廣泛用于預(yù)測模型的區(qū)分度評價(jià)，但其為一個(gè)綜合指標(biāo)，其考慮了所有預(yù)測概率作為界值的一個(gè)綜合判定。
• 而實(shí)際應(yīng)用中，我們只會(huì)選取一個(gè)適宜的診斷切點(diǎn)，關(guān)心該切點(diǎn)下的診斷能力而非所有切點(diǎn)構(gòu)成的AUC。
• 同時(shí)當(dāng)我們比較兩個(gè)模型的預(yù)測能力時(shí)，或者模型引入新的指標(biāo)預(yù)測改善情況。我們則需要一個(gè)比較兩個(gè)模型預(yù)測能力的指標(biāo)：NRI
  NRI（用于新舊模型比較時(shí)）：
  原理：首先將研究對象按照真實(shí)的患病情況分為兩組，即患者組和非患者組，然后分別在這兩個(gè)分組下，根據(jù)新、舊模型的預(yù)測分類結(jié)果（根據(jù)某個(gè)切點(diǎn)），整理成兩個(gè)2×2表格，如下表所示：

對患者組：B1-C1越大越好；對非患者組：B2-C2越小越好；AD都沒有意義

我們主要關(guān)注被重新分類的研究對象，從表中可以看出，在患者組（總數(shù)為 N1），新模型分類而舊模型分類錯(cuò)誤的有B1，新模型分類錯(cuò)誤而舊模型分類正確的有C1個(gè)人，那么新模型相對于舊模型來說，正確分類提高的比例為（B1-C1）/N1，即對角線上的比例-對角線以下的比例

同理，在非患者組（總數(shù)為N2），新模型分類正確而舊模型分類錯(cuò)誤的有 C2，新模型分類錯(cuò)誤而舊模型分類正確的有B2個(gè)人，那么新模型相對于舊模型正確分類提高的比例為（C2-B2）/N2，即對角線以下的比例-對角線以上的比例

• 最后，綜合患者組和非患者組的結(jié)果，新模型與舊模型相比，凈重新分類指數(shù) NRI=（B1-C1）/N1+（C2-B2）/N2

• 若NRI>0，則為正改善：說明新模型比就模型的預(yù)測能力有所改善；若NRI<0，則為負(fù)改善，新模型預(yù)測能力下降；若NRI=0，則認(rèn)為新模型沒有改善。

• 我們可以通過計(jì)算Z統(tǒng)計(jì)量（Z檢驗(yàn)），來判斷NRI與0相比是否具有統(tǒng)計(jì)學(xué)顯著性，統(tǒng)計(jì)量Z近似服從正態(tài)分布，公式如下：
  

• 三分類NRI計(jì)算同理

AUC&NRI
由此可以看出，當(dāng)兩個(gè)模型的AUC差異比較無統(tǒng)計(jì)學(xué)顯著性時(shí)，提示模型的區(qū)分能力相近，但是進(jìn)一步計(jì)算NRI后就會(huì)發(fā)現(xiàn)，新模型正確再分的能力（Reclassification）有顯著提高，因此需要我們將AUC和NRI綜合起來進(jìn)行判斷。AUC相當(dāng)于綜合實(shí)力。NRI相當(dāng)于單項(xiàng)（整體比不過你，但是以某個(gè)為切點(diǎn)，我還是可以的)

3.IDI（Integrated Discrimination Improvement，綜合判別改善指數(shù)）

• NRI主要用于在設(shè)定好的切點(diǎn)水平下來判斷和比較新舊模型的預(yù)測能力是否有所提高，在實(shí)際臨床中容易計(jì)算易于理解。
• 但NRI不足在于只考慮了切點(diǎn)處的改善情況，不能考慮模型的整體改善情況。
  一個(gè)綜合判定改善情況的指標(biāo)IDI應(yīng)運(yùn)而生！
• IDI=（Pnew, events-Pold, events）-（Pnew,non-events-Pold,non-events）
• （Pnew, events-Pold, events）：患者組中，新模型預(yù)測概率的均值-舊模型預(yù)測概率的均值，表示預(yù)測概率提高的變化量。對于患者而言，預(yù)測概率越高，模型越準(zhǔn)確，因此，該差值越大，提示新模型越好。
• （Pnew,non-events-Pold,non-events）：非患者組，新模型預(yù)測概率的均值-舊模型預(yù)測概率的均值。對于非患者，預(yù)測概率越低，模型越準(zhǔn)確，因此，差值越小則新模型越好。

IDI統(tǒng)計(jì)學(xué)檢驗(yàn)：

• 可以通過Z統(tǒng)計(jì)量，來判斷IDI與0相比是否具有統(tǒng)計(jì)學(xué)顯著性，統(tǒng)計(jì)量Z近似服從正態(tài)分布，公式如下：

  
  
• 其中SEevents為Pnew,events-Pold,events的標(biāo)準(zhǔn)誤，首先在患者組，計(jì)算新、舊模型對每個(gè)個(gè)體預(yù)測概率，求得概率的差值，再計(jì)算差值的標(biāo)準(zhǔn)誤。同理，SEnon-events為Pnew,non-events-Pold,non-events的標(biāo)準(zhǔn)誤，是在非患者組，計(jì)算新、舊模型對每個(gè)個(gè)體的預(yù)測概率，求得概率的差值，再計(jì)算差值的標(biāo)準(zhǔn)誤即可。

IDI和NRI的比較：

肯定包括NRI，有時(shí)加上IDI

校準(zhǔn)度（Calibration）

• 是評價(jià)一個(gè)預(yù)測模型預(yù)測未來某個(gè)個(gè)體發(fā)生結(jié)局事件概率準(zhǔn)確性的重要指標(biāo)，反映模型預(yù)測風(fēng)險(xiǎn)與實(shí)際發(fā)生風(fēng)險(xiǎn)的一致程度，也稱為一致性。
• 區(qū)分度：定性，你能預(yù)測出來嗎?（預(yù)測出來你考試過不過)
  校準(zhǔn)度：定量，你預(yù)測出來和實(shí)際一樣嗎?(預(yù)測出考了多少分)
• 校準(zhǔn)度評價(jià)法：
  Logistic：H-L（Hosmer-Lemeshow）
  Logistic&Cox：Calibration plot

Hosmer-Lemeshow思想

1. 預(yù)測出概率；
2. 從小到大排序，10分位數(shù)分組；
3. 計(jì)算每組實(shí)際觀測數(shù)和模型預(yù)測數(shù)；
4. 計(jì)算卡方值，得到P值；
5. P越大，說明預(yù)測模型校準(zhǔn)度越好，若P<0.05，則說明模型預(yù)測值與實(shí)際值存在一定的差異，校準(zhǔn)度較差。

Calibration plot（校準(zhǔn)圖）

• 常用三種形式：（1）散點(diǎn)圖（2）條形圖（3）線圖
  八張圖：兩張ROC曲線反映區(qū)分度，兩張校準(zhǔn)曲線反映準(zhǔn)確度，兩者臨床校準(zhǔn)曲線反映臨床適用度，一張nomogram，前面一張流程圖

  
  
  1.點(diǎn)越靠近參考線越準(zhǔn)確；2.實(shí)際紅，藍(lán)色預(yù)測，條帶高度越一致；3.折線圖，藍(lán)色虛線代表理想，黃色代表實(shí)際

• Del&Val都要做（基于Logistic回歸）

  
  
  藍(lán)色為理想，灰色為模型，紅色為偏移校正（反復(fù)抽樣結(jié)果）
• Del&Val都要做，Cox回歸要做不同時(shí)間點(diǎn)
  
  1年，3年，5年
  
  區(qū)分度和校準(zhǔn)度
  
  參考

臨床適用度評價(jià)（Decision Curve Analysis，DCA，決策曲線分析法）

臨床預(yù)測模型臨床有效性評價(jià)

• 如通過某個(gè)生物標(biāo)志物預(yù)測研究對象是否患病，無論選擇哪個(gè)界值，都會(huì)遇到假陽性和假陰性的可能；有時(shí)候避免假陽性受益更大，有時(shí)候則更希望避免假陰性，既然兩種情況都無法避免，那就兩害相權(quán)取其輕,兩利相權(quán)取其重，那我們就選擇對患者最有利的，也就是凈受益最大的方法。這就是臨床效用的問題。
• 一個(gè)病人，如果是X病，手術(shù)可延長6年壽命，如果不是X病，做手術(shù)會(huì)縮短3年壽命，那么某個(gè)患者經(jīng)過模型預(yù)測有40%可能是X病，到底做不做手術(shù)呢？

決策曲線分析（Decision Curve Analysis，DCA）

DCA曲線解釋：58-42=16，58個(gè)人獲得了凈獲益

訓(xùn)練集+驗(yàn)證集的運(yùn)用

注意：
訓(xùn)練集+驗(yàn)證集
都要：C-index或ROC
都要：校準(zhǔn)曲線和（或）HL
都要：臨床決策曲線
Nomo：只在訓(xùn)練集做
所有都是基于模型計(jì)算出來的P，有P就有臨床預(yù)測模型的一切！

模型可視化（Visualization）；模型-量表-網(wǎng)站-Nomogram

在線動(dòng)態(tài)nomo圖：An independently validated survival nomogram for lower-grade glioma

• https://hgittleman.shinyapps.io/LGG_Nomogram_H_Gittleman/

nomo解讀

Step 1) Establish scores for all variable values；Job tenure (years)= 7.50 => Score = 3；Usual hours worked = 30 => Score ≈ 2； Age in current year = 50 => Score ≈ 2.5；College graduate = yes / college grad => Score ≈ 4.2；Race = white => Score = 0

Step 2) Obtain the Total score adding up all the scores obtained in the previous step；Total score = 3+2+2.5+4.2+0=11.7；Step 3) Obtain the probability of event (Total Score -> Probability of event)；Total score =11.7 is equivalent to a probability of approximately 0.28-0.29

臨床預(yù)測模型報(bào)告規(guī)范

• 臨床預(yù)測模型規(guī)范：TRIPOD
• https://www.equator-network.org/ ：醫(yī)學(xué)論文報(bào)告規(guī)范組織機(jī)構(gòu):EQUATOR Network（提高衛(wèi)生研究質(zhì)量和透明度協(xié)作網(wǎng)），該組織以CONSORT工作組為框架，在全球推廣使用各種醫(yī)字研究報(bào)告規(guī)范，提高論文質(zhì)量和透明度，促進(jìn)衛(wèi)生研究質(zhì)量提升，該網(wǎng)站幾乎可以獲得所有醫(yī)學(xué)研究論文的報(bào)告規(guī)范。

交叉驗(yàn)證（K-Foldcross-validation）

交叉驗(yàn)證

10重交叉驗(yàn)證：10-FoldCross Validation

LASSO，Least absolute shrinkage and selection operator

圖1欠擬合，圖2恰擬合，圖3過擬合（樣本量多容易發(fā)生）；此時(shí)用lasso回歸消除欠擬合/過擬合

• 懲罰系數(shù)：Lambda（思想：要想進(jìn)模型，要接受一定的懲罰）

  
  
  不斷增加懲罰力度，最后還剩多少預(yù)測因子
  
  
  縱軸為離散趨勢，偏離差越小越好，有圖發(fā)現(xiàn)還有16；最小lambda+一個(gè)標(biāo)準(zhǔn)誤的時(shí)候，只要五個(gè)預(yù)測因子，雖然偏離差大一點(diǎn)，但精準(zhǔn)度差不多，一般會(huì)選最小lambda+一個(gè)標(biāo)準(zhǔn)誤

Bootstrap（自助抽樣法）

為了從單個(gè)樣本中產(chǎn)生多個(gè)樣本，bootstrapping作為交叉驗(yàn)證的一個(gè)替代方法，在原來的樣本中進(jìn)行替換的隨機(jī)采樣，從而得到新的樣本。bootstrap得到的樣本比交叉驗(yàn)證的樣本重疊更多，因此它們的估計(jì)依賴性更強(qiáng)，被認(rèn)為是小數(shù)據(jù)集進(jìn)行重采樣的最好方法。

• 抽了還，還了抽，一般得抽1000次

轉(zhuǎn)載：精鼎統(tǒng)計(jì)