本次信用卡檢測欺詐案例訓(xùn)練模型的大致步驟

一、數(shù)據(jù)說明

導(dǎo)入數(shù)據(jù)

讀取數(shù)據(jù)

由于涉及到客戶資料的隱私（交易時(shí)間、交易卡號、交易銀行代碼），所以數(shù)據(jù)已經(jīng)經(jīng)過預(yù)處理，我們拿到上述數(shù)據(jù)中只有v1,v2....等一些匿名數(shù)據(jù)字段。直接使用即可

現(xiàn)在我們要做的是使用二分類算法（邏輯回歸）區(qū)分正常樣本和異常樣本進(jìn)行區(qū)分，用0或1作為區(qū)分結(jié)果

class字段 就是作為區(qū)分的結(jié)果 （1代表異常樣本，0代表正常樣本）

amount字段 代表貸款金額? ?，上表中該字段的分布差異很大，會(huì)影響數(shù)據(jù)模型的重要程度，因此要做歸一化，減小影響

二、數(shù)據(jù)處理

1.查看正常樣本與異常樣本的比例

可以看出0和1 樣本極度不均衡，因此可以使用上采樣或者下采樣

下采樣：讓兩個(gè)樣本同樣少（隨機(jī)抽取數(shù)據(jù)正常樣本數(shù)據(jù)，讓正常樣本和異常樣本一樣少）

過采樣：讓兩個(gè)樣本一樣多（添加異常樣本數(shù)據(jù)，讓異常樣本數(shù)量和正常樣本數(shù)量一樣多）

2.歸一化處理

normAmount列就是歸一化后的數(shù)據(jù)

3.下采樣處理：讓兩個(gè)樣本同樣少（隨機(jī)抽取數(shù)據(jù)正常樣本數(shù)據(jù)，讓正常樣本和異常樣本一樣少）

4.交叉驗(yàn)證（訓(xùn)練集數(shù)據(jù)）

4.1切分?jǐn)?shù)據(jù)為訓(xùn)練集和測試集

最后通過原始數(shù)據(jù)的模型，來測試下采樣過后的樣本數(shù)據(jù)集

4.2對訓(xùn)練集數(shù)據(jù)做交叉驗(yàn)證

數(shù)據(jù)測試集分成5份進(jìn)行驗(yàn)證

驗(yàn)證結(jié)果

定義一個(gè)熱力圖函數(shù)，方便調(diào)用

4.3混淆矩陣，下采樣的測試集

混淆矩陣，原數(shù)據(jù)的測試結(jié)果

發(fā)現(xiàn)多3488的數(shù)據(jù)進(jìn)行錯(cuò)誤篩選，混淆矩陣效果較好

在原數(shù)據(jù)中樣本錯(cuò)誤率偏高，混淆矩陣效果不好

4.4 查看不同閾值之間的效果