信用評分建模中樣本容量不足怎么辦?

在建立個(gè)人信用評分模型時(shí),不僅需要有足夠多的表征信貸申請人信用行為的特征變量,而且建模樣本的容量也必須達(dá)到一定的數(shù)量。

一般來說,樣本容量越大,所建立的模型的精度或預(yù)測能力就越高,模型也越穩(wěn)健。

至于到底需要容量多大的樣本才能建立一個(gè)預(yù)測精度較高,又具有較好穩(wěn)健性的個(gè)人信用評分模型,目前還沒有一個(gè)基于理論測算的最優(yōu)數(shù)目,不過通過多年的建模實(shí)踐,國外的許多學(xué)者提出了一些經(jīng)驗(yàn)準(zhǔn)則。

這些經(jīng)驗(yàn)準(zhǔn)則告訴我們,問題的關(guān)鍵并不在于建模樣本容量的大小,而在于壞客戶樣本的數(shù)量。一個(gè)由50000個(gè)好客戶,500個(gè)壞客戶構(gòu)成的建模樣本并不比一個(gè)由5000個(gè)好客戶,500個(gè)壞客戶構(gòu)成的樣本含有更多的信息,因?yàn)樵诮€(gè)人信用評分模型時(shí)壞客戶樣本所含的信息是我們重點(diǎn)關(guān)注的。

在實(shí)際的建??傮w中,通常好客戶的數(shù)量總是遠(yuǎn)遠(yuǎn)大于壞客戶的數(shù)量,因此建模總體中壞客戶數(shù)量的多少是能否成功地建立個(gè)人信用模型的關(guān)鍵因素之一。

在個(gè)人政協(xié)體系發(fā)達(dá)的國家,建模樣本容量不足應(yīng)該不是一個(gè)嚴(yán)重的問題。

這些國家解決這一問題可以有多種途徑:

當(dāng)需要對某種信用產(chǎn)品申請人進(jìn)行評分時(shí),若樣本容量不足而不能建立評分模型,可以先用征信局的“通用化評分”來代替。待好、壞客戶樣本累積到一定容量后再建模。實(shí)際上有許多信用產(chǎn)品根本就不建立定制化的評分模型,而是直接用征信局提供的“通用化評分”對客戶進(jìn)行評價(jià),當(dāng)然這需要一定的成本。

由于社會(huì)征信體系較發(fā)達(dá)的國家一般其信用市場也較發(fā)達(dá),信用產(chǎn)品比較豐富,在一個(gè)新的信用產(chǎn)品推廣的初期,往往可以找到與之相類似的產(chǎn)品,用類似產(chǎn)品的樣本建模在初期也是一個(gè)不錯(cuò)的選擇。

在征信體系發(fā)達(dá)的國家,無論是信貸機(jī)構(gòu)還是信用咨詢機(jī)構(gòu)都有較多的信用分析專家,利用這些專家的知識和經(jīng)驗(yàn)可以建立所謂的“專家模型”。

就中國目前的狀況而言,當(dāng)建模樣本不足時(shí),以上3中解決方法均不是很有效的:

由于征信體系不發(fā)達(dá),沒有“通用化評分”可資利用;

消費(fèi)信用產(chǎn)品還比較單一;

有關(guān)消費(fèi)信用分析的專家還不多。

因此,樣本容量不足是在中國現(xiàn)階段建立個(gè)人信用評分模型時(shí)常常遇到的問題之一。

解決建模樣本容量不足的方法有兩類方法可以嘗試:

一類是合并不同銀行的相同產(chǎn)品的樣本;

另一種是統(tǒng)計(jì)學(xué)中的Bootstrap方法。

方法1:將不同客戶總體數(shù)據(jù)合并建模

當(dāng)樣本量不足時(shí),最容易想到的一個(gè)解決辦法是:將不同銀行的相同產(chǎn)品的樣本合并起來建立模型。

例如,當(dāng)某個(gè)商業(yè)銀行要針對其所發(fā)行的一種信用卡建立個(gè)人信用評分模型時(shí),它可以將該銀行在不同地區(qū)的分行的客戶數(shù)據(jù)進(jìn)行合并,這樣在樣本的數(shù)量上就可以滿足建模的要求。

值得注意的是,這種合并不同總體的做法與通常建立個(gè)人信用評分時(shí)的做法是相反的。在建立個(gè)人信用評分模型時(shí),為了提高模型的預(yù)測精度,當(dāng)總體內(nèi)部差異較大時(shí),如果樣本的容量足夠大,在實(shí)際中的做法是將總體劃分成幾個(gè)內(nèi)部一致性較好的子總體,然后對各個(gè)子總體分別建模。

關(guān)于將不同客戶總體數(shù)據(jù)合并后建立模型的效果,國外的學(xué)者有過一些眼睛。大部分的實(shí)證研究表明,合并后建立的模型其精度往往會(huì)下降。

精度下降的原因可能來自兩個(gè)方面:

由于各總體特征的差異較大影響了模型的預(yù)測能力;

各總體中保存的特征變量不盡一致,建模時(shí)往往只能使用各總體共有的部分。特征變量的減少,往往損失許多有用的信息。

方法2:Bootstrap方法應(yīng)用于處理樣本容量不足不同客戶總體數(shù)據(jù)合并建模

將樣本分成兩部分,一部分是用于建模,另一部分用于檢驗(yàn)。

這樣做的主要目的是為了避免同時(shí)將一組樣本既作為訓(xùn)練樣本(用于建立模型)又作為檢驗(yàn)樣本從而對預(yù)測精度的估計(jì)過于樂觀。在樣本容量充足的情況下,這種做法是很有效的。但是在有些情況下,建模的樣本數(shù)量并不是很充足。在這種情況下若還保留一部分樣本進(jìn)行檢驗(yàn)顯然不是一種有效的做法,這樣會(huì)白白浪費(fèi)掉保留樣本中所包含的信息。

統(tǒng)計(jì)學(xué)中發(fā)展了多種方法來克服上述保留樣本在樣本容量不足時(shí)的缺陷,BootStrap方法是一種被證明行之有效的方法。

實(shí)際中的算法如下:

從經(jīng)驗(yàn)分布F_n中有放回地抽取一個(gè)容量為n的樣本(x_1,x_2,?,x_n)。通常稱為BootStrap樣本。

利用此樣本計(jì)算θ的估計(jì)值,θ^*=θ(x_1,x_2,?,x_n)。通常稱為BootStrap估計(jì)。

將過程(1),(2)重復(fù)K次,這樣就得到K個(gè)BootStrap樣本及K個(gè)BootStrap估計(jì)。

若用全部樣本S來估計(jì)模型的預(yù)測誤差,記為e_s (S),模型的實(shí)際預(yù)測誤差記為e_s (Actual)。采用有放回的抽樣方法從原始樣本中抽取一個(gè)BootStrap樣本R,用這組樣本建模,然后利用原來的樣本S估計(jì)模型的預(yù)測誤差,其結(jié)果記為e_R (S)。這樣,e_R (S)-e_R (R)就是對e_S (Actual)-e_S (S)的一個(gè)較好的估計(jì)。

為了提高估計(jì)的精度,將上述過程重復(fù)K次,這樣:

當(dāng)樣本容量較小時(shí),我們可以用全部樣本建模,然后用上式估計(jì)該模型的真實(shí)預(yù)測誤差。

參考資料:Credit Scoring: Models and Applications. 石慶炎,秦宛順著。

本文作者:劉利(點(diǎn)融黑幫),點(diǎn)融網(wǎng) DATA Scientist,上海交通大學(xué)應(yīng)用數(shù)學(xué)本科,計(jì)算數(shù)學(xué)研究生,喜歡乒乓球和羽毛球運(yùn)動(dòng)。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容