對(duì)于分類(lèi)預(yù)測(cè)模型的表現(xiàn)評(píng)估我們最常見(jiàn)的指標(biāo)就是ROC曲線，報(bào)告AUC。比如有兩個(gè)模型，我們?nèi)ケ容^下兩個(gè)模型AUC的大小，進(jìn)而得出兩個(gè)模型表現(xiàn)的優(yōu)劣。這個(gè)是我們常規(guī)的做法，如果我們的研究關(guān)注點(diǎn)放在“在原模型新引入一個(gè)預(yù)測(cè)變量，模型的效果會(huì)不會(huì)提高時(shí)”，這個(gè)時(shí)候ROC就常常會(huì)顯得力不從心，因?yàn)橥ǔ＜尤胍粋€(gè)變量AUC不會(huì)有太大的變化，且AUC不好解釋。

When evaluating the improvement of predictive performance of a predictive model after incorporating a new marker, the improvement of C-Statistic/AUC is always small, therefore the new marker sometimes fails to significantly improve C-Statistic/AUC.

這時(shí)，就需要用到我們今天要講的綜合判別改善指數(shù)IDI, 凈重分類(lèi)指數(shù)NRI指標(biāo)。

Two new metrics, the integrated discrimination improvement (IDI) and net reclassification improvement (NRI), have been rapidly adopted to quantify the added value of a biomarker to an existing test.

凈重分類(lèi)指數(shù)NRI

一個(gè)新的指標(biāo)或者新的模型是不是會(huì)提高分類(lèi)效果，最終會(huì)體現(xiàn)在人數(shù)上，從這個(gè)角度考慮，我們可以去對(duì)比兩個(gè)模型或者不同的指標(biāo)對(duì)研究對(duì)象的正確劃分情況，從而得到結(jié)論。

就是說(shuō)我們的舊模型會(huì)把研究對(duì)象分類(lèi)為患者和非患者，新的模型也會(huì)把研究對(duì)象分類(lèi)為患者和非患者。此時(shí)比較新、舊模型對(duì)于研究人群的分類(lèi)變化，就會(huì)發(fā)現(xiàn)有一部分研究對(duì)象原本在舊模型中被錯(cuò)分，但在新模型中得到了正確劃分；同樣也有一部分研究對(duì)象，原本在舊模型中分類(lèi)正確，但在模型中卻被錯(cuò)分，因此研究對(duì)象的分類(lèi)在新、舊模型中會(huì)發(fā)生變化，我們利用這種重新分類(lèi)的變化，來(lái)計(jì)算凈重新分類(lèi)指數(shù)NRI。

為了更好理解這種變化我們看下表：

[圖片上傳失敗...(image-ebbd88-1699444518028)]

在table3中，c1是原來(lái)模型沒(méi)有預(yù)測(cè)對(duì)，新模型預(yù)測(cè)對(duì)的，同樣的道理，b1是原來(lái)模型預(yù)測(cè)對(duì)，但新模型給預(yù)測(cè)錯(cuò)的，于是(c1 ? b1)/N1便是疾病組或者event組增加的重分類(lèi)的正確比。

同樣我們可以得到非疾病組中（table 4）中增加的重分類(lèi)正確比為(b2 ? c2)/N2。

The NRIevents is the net proportion of patients with events reassigned to a higher risk category and the NRInonevents is the number of patients without events reassigned to a lower risk category

于是NRI = (c1 ? b1)/N1 + (b2 ? c2)/N2

因?yàn)镹RI表示的是重分類(lèi)的正確個(gè)案占比的增加量，所以NRI>0，則為正改善，說(shuō)明新模型比舊模型的預(yù)測(cè)能力有所改善；若NRI<0，則為負(fù)改善，新模型預(yù)測(cè)能力下降；若NRI=0，則認(rèn)為新模型沒(méi)有改善。

綜合判別改善指數(shù)IDI

剛剛我們介紹了NRI，NRI是從新舊模型的對(duì)個(gè)案預(yù)測(cè)正確數(shù)量占比增加的角度評(píng)估模型的，再換一種思路我們可以從概率增加的角度反映模型的優(yōu)劣。

就是說(shuō)在疾病組，模型預(yù)測(cè)陽(yáng)性的概率要盡可能大，在非疾病組模型預(yù)測(cè)陽(yáng)性的概率要盡可能小，通過(guò)模型的預(yù)測(cè)概率差值依然可以得到一個(gè)評(píng)價(jià)指數(shù)。如果新模型比原模型：在陽(yáng)性組，預(yù)測(cè)陽(yáng)性的概率比舊模型的大；在陰性組，預(yù)測(cè)陽(yáng)性的概率比舊模型的小。那么就可以說(shuō)明新模型比舊模型好。

這個(gè)指數(shù)就是IDI

IDI = (Pnew,events–Pold,events) – (Pnew,non-events – Pold,non-events)

其中Pnew,events表示在疾病組新模型的預(yù)測(cè)陽(yáng)性概率，Pold,non-events表示在非疾病組舊模型的預(yù)測(cè)陽(yáng)性概率。

就是說(shuō)，IDI就等于疾病組新舊模型的預(yù)測(cè)陽(yáng)性概率的差值減去非疾病組新舊模型預(yù)測(cè)陽(yáng)性概率的差值（因?yàn)閷?duì)于非疾病組模型預(yù)測(cè)陽(yáng)性的概率應(yīng)該是越小越好，所以中間是減號(hào)）這樣IDI越大越說(shuō)明新模型比舊模型預(yù)測(cè)效果更好。若IDI＞0，則為正改善，說(shuō)明新模型比舊模型的預(yù)測(cè)能力有所改善，若IDI＜0，則為負(fù)改善，新模型預(yù)測(cè)能力下降，若IDI=0，則認(rèn)為新模型沒(méi)有改善。

做法實(shí)操

在R語(yǔ)言中我們可以用reclassification函數(shù)很方便地得到NRI和IDI，這個(gè)函數(shù)接受5個(gè)參數(shù)，參數(shù)說(shuō)明如下圖：

[圖片上傳失敗...(image-b57eb3-1699444518028)]

第一個(gè)是data是原始數(shù)據(jù)集，cOutcome參數(shù)是結(jié)局在原始數(shù)據(jù)集中的列的位置，比如原來(lái)數(shù)據(jù)集第二列是結(jié)局變量，cOutcome就設(shè)定為2；然后依次是舊模型和新模型的預(yù)測(cè)風(fēng)險(xiǎn)值，最后一個(gè)參數(shù)cutoff是模型分類(lèi)的風(fēng)險(xiǎn)值截?cái)帱c(diǎn)。

比如我現(xiàn)在有數(shù)據(jù)集如下

[圖片上傳失敗...(image-3b364d-1699444518028)]

結(jié)局在數(shù)據(jù)集的第二列，我想比較只有age、sex的模型1和有age、sex、education的模型2，在設(shè)定預(yù)測(cè)風(fēng)險(xiǎn)值0.5為類(lèi)別劃分標(biāo)準(zhǔn)時(shí)兩個(gè)模型的分類(lèi)表現(xiàn)。在擬合好model1和model2后我可以寫(xiě)出如下代碼：

model1 <-  glm(formula = `outcome(AMD)` ~Age  +Sex, family = binomial("logit"), data = Data)
model2 <-  glm(formula = `outcome(AMD)` ~Age  +Sex+ Education, family = binomial("logit"), data = Data) 
predRisk1 <- predRisk(model1)
predRisk2 <- predRisk(model2)
cutoff <- c(0,.5,1)    
reclassification(data=ExampleData, cOutcome=cOutcome, 
predrisk1=predRisk1, predrisk2=predRisk2, cutoff)

運(yùn)行代碼后輸出結(jié)果如下：

[圖片上傳失敗...(image-4782d-1699444518028)]

可以看到在風(fēng)險(xiǎn)截?cái)嘀禐?.5的時(shí)候NRI(Categorical)為0，說(shuō)明增加edu的模型并沒(méi)有使得分類(lèi)模型變得更好。同時(shí)結(jié)果中也給出了NRI(Continuous)和IDI的點(diǎn)估計(jì)、p值和置信區(qū)間。均可以在論文中加以報(bào)告。

到這兒NRI和IDI就給大家介紹完了，大家以后在進(jìn)行2個(gè)疾病模型比較，或者2個(gè)指標(biāo)診斷效能比較時(shí)，除了傳統(tǒng)的ROC曲線及其AUC，也可以同時(shí)給出NRI和IDI，更加全面多層次的展示模型的改善情況。

when comparing diagnostic power of two markers or comparing two predictive models, we could use not only AUC、C-statistics but also NRI and IDI, which could give a comprehensive perspective on how much the predictive performance improves.

we could not calculate NRI or IDI of one predictive model. IDI and NRI are calculated from the comparison of two models. One model does not have IDI or NRI.

文獻(xiàn)推薦：
https://cdn.amegroups.cn/journals/amepc/files/journals/16/articles/29812/public/29812-PB1-1696-R4.pdf