很多時(shí)候,我們?cè)谟?jì)算指標(biāo)時(shí)會(huì)發(fā)現(xiàn)有多種可能的方法。比如最簡(jiǎn)單的計(jì)算多類分類的準(zhǔn)確率,一種計(jì)算方法是把所有類別的一次性都考慮進(jìn)來,計(jì)算類別預(yù)測(cè)的準(zhǔn)確率;另外還有一種是對(duì)每個(gè)類別分開考慮,計(jì)算單獨(dú)每個(gè)類別的準(zhǔn)確率,最后再進(jìn)行算術(shù)平均得到該測(cè)試集的準(zhǔn)確率。其實(shí),第一種方法(也是最常用的方法)就是micro-average(微平均),第二種方法則是macro-average(宏平均)。
舉例
假設(shè)我們有一個(gè)兩類鑒別模型和測(cè)試集,該模型在該測(cè)試集上預(yù)測(cè)結(jié)果與實(shí)際類別對(duì)比可得:
第一類別
True positive (TP1)= 12
False positive (FP1)=9
False negative (FN1)=3
Then precision (P1) and recall (R1) will be 57.14 and 80
此處的TP、FP、TN、FN的含義為:真陽(yáng)(查到且正確)、假陽(yáng)(查到但不正確)、真陰(系統(tǒng)中不存在匹配項(xiàng)且沒查到)和假陰(系統(tǒng)存在匹配項(xiàng)但沒查到)。
查全率: recall rate = sum(tp) / (sum(tp) + sum(fn))
查準(zhǔn)率: precision rate = sum(tp) /? (sum(tp) + sum(fp))
第二類別
True positive (TP2)= 50
False positive (FP2)=23
False negative (FN2)=9
Then precision (P2) and recall (R2) will be 68.49 and 84.75
微平均
Micro-average of precision = (TP1+TP2)/(TP1+TP2+FP1+FP2) = (12+50)/(12+50+9+23) = 65.96
Micro-average of recall = (TP1+TP2)/(TP1+TP2+FN1+FN2) = (12+50)/(12+50+3+9) = 83.78
宏平均
Macro-average precision = (P1+P2)/2 = (57.14+68.49)/2 = 62.82
Macro-average recall = (R1+R2)/2 = (80+84.75)/2 = 82.25