偏斜類的誤差度量

以預(yù)測(cè)腫瘤是否為惡性為例，我們使用邏輯回歸模型，其假設(shè)函數(shù)h_θ(x)，當(dāng)y = 1時(shí)，我們可以預(yù)測(cè)腫瘤為惡性腫瘤；當(dāng)y = 0時(shí)，我們可以預(yù)測(cè)腫瘤為良性腫瘤。

現(xiàn)假設(shè)邏輯回歸模型在測(cè)試集上的誤差為1%，這看似該模型非常完美。但根據(jù)我們的資料發(fā)現(xiàn)在訓(xùn)練集中只有0.5%的患者確為惡性腫瘤，這時(shí)此前的1%的誤差就不是那么完美了。（注：本人對(duì)此處有點(diǎn)不解，測(cè)試集上的誤差為1%，而訓(xùn)練集上我們可以確定有0.5%的患者確為惡性腫瘤，這為什么可以做出判斷在測(cè)試集上的1%的誤差就不是那么完美？）

為了便于理解，我們先看如下代碼：

function y = predictCancer(x)
    y = 0;     % ignore x!
return

該代碼中，y始終為0，即始終對(duì)腫瘤的預(yù)測(cè)為良性，則在訓(xùn)練集上的誤差為0.5%。邏輯回歸模型與上述代碼對(duì)比，其誤差可能比上述代碼要高，這就能說(shuō)明邏輯回歸模型比上述代碼要差嗎？

答案當(dāng)然是不能的。對(duì)于正樣本數(shù)量遠(yuǎn)大于負(fù)樣本數(shù)量的情況，我們將其稱為偏斜類。對(duì)于這種情況，分類誤差或精度作為評(píng)估度量就不太適用了。因此，對(duì)于出現(xiàn)偏斜類這種情況，我們引入查準(zhǔn)率（Precision）和召回率（Recall）。

我們?nèi)砸灶A(yù)測(cè)腫瘤是否為惡性腫瘤為例，y = 1表示腫瘤為惡性腫瘤：

對(duì)于查準(zhǔn)率而言，其值越高越好，表示患者為惡性腫瘤的可能性就越大；對(duì)于召回率而言，其值也越高越好，其表示在所有實(shí)際患者為惡性腫瘤的中，模型成功預(yù)測(cè)的百分比。

這對(duì)于上述代碼中y = 0的算法，其召回率為0，從而得知其算法是不好的。

查準(zhǔn)率與召回率之間的權(quán)衡

在邏輯回歸中，我們知道假設(shè)函數(shù)h_θ(x)的取值范圍為0~1，當(dāng)h_θ(x) ≥ 0.5時(shí)，我們可以預(yù)測(cè)y = 1；當(dāng)h_θ(x) < 0.5時(shí)，我們可以預(yù)測(cè)y = 0。

我們以預(yù)測(cè)腫瘤是否為惡性腫瘤為例，現(xiàn)假設(shè)我們只有在非常確定的情況下，我們才能將腫瘤預(yù)測(cè)為惡性腫瘤，即y = 1。

此時(shí)，我們將臨界點(diǎn)（Threshold）修改為0.7，即當(dāng)h_θ(x) ≥ 0.7時(shí)，我們可以預(yù)測(cè)y = 1；當(dāng)h_θ(x) < 0.7時(shí)，我們可以預(yù)測(cè)y = 0。這對(duì)情況下，我們的查準(zhǔn)率和召回率會(huì)發(fā)生相應(yīng)變化，即此時(shí)表現(xiàn)為高查準(zhǔn)率和低召回率。

又假設(shè)我們不想對(duì)已患有惡性腫瘤的患者錯(cuò)過(guò)治療，因此我們將臨界點(diǎn)修改為0.3，即當(dāng)h_θ(x) ≥ 0.3時(shí)，我們可以預(yù)測(cè)y = 1；當(dāng)h_θ(x) < 0.3時(shí)，我們可以預(yù)測(cè)y = 0。此時(shí)查準(zhǔn)率和召回率表現(xiàn)為低查準(zhǔn)率和高召回率。

在不同的臨界點(diǎn)的情況下，查準(zhǔn)率和召回率可有如下函數(shù)圖：

其中，函數(shù)曲線取決于邏輯回歸模型的具體算法。

那么在偏斜類的情況下，我們?nèi)绾胃鶕?jù)查準(zhǔn)率和召回率判斷模型的好壞？這里我們引入F₁ 值（F₁ Score，也可稱為F Score），其公式為：

其中，P表示查準(zhǔn)率，R表示召回率。

對(duì)于上圖，根據(jù)F₁ 值我們可知Algorithm 1為較好的算法。