有時(shí)候知道要做一個(gè)監(jiān)督學(xué)習(xí)的分類模型， 但是沒有直接的正反例。
往往會(huì)根據(jù)業(yè)務(wù)人員的經(jīng)驗(yàn)，根據(jù)一些規(guī)則來篩選一批正反例，然后根據(jù)已有的特征庫(kù)和這些正反例來訓(xùn)練模型。
模型干的事就是跟正反例 Lookalike 的情況劃分。
這種模型我們?cè)趺丛u(píng)估？召回和準(zhǔn)確率不再能直接反應(yīng)模型的好壞，因?yàn)橐?guī)則的正例可能混入了很多反例。
所以我們更關(guān)注AUC， 它代表跟正例相似分?jǐn)?shù)高于跟負(fù)例相似的樣本的概率；
還可以計(jì)算雙樣本?Kolmogorov-Smirnov test (Wikipedia)， 一個(gè)樣本是正例的分?jǐn)?shù)集合，一個(gè)樣本是負(fù)例的分?jǐn)?shù)集合。
D值越大，代表兩個(gè)分布越不同，即代表通過模型將兩個(gè)樣本集的區(qū)分情況越強(qiáng)，一般D值是>=20 , 模型可用。
這類模型的優(yōu)化可以以AUC 和K-S Test 中D值的提高來作為標(biāo)準(zhǔn)。
