簡(jiǎn)介

本文主要說明特征工程中關(guān)于序數(shù)特征和類別特征的常用處理方法。主要包含LabelEncoder、One-Hot編碼、DummyCoding、FeatureHasher以及要重點(diǎn)介紹的WOE編碼。

序數(shù)特征處理

序數(shù)特征指的是有序但無尺度的特征。比如表示‘學(xué)歷’的特征，'高中'、'本科'、'碩士'，這些特征彼此之間是有順序關(guān)系的，但是特征本身無尺度，并且也可能不是數(shù)值類型。在實(shí)際應(yīng)用中，一般是字符類型居多，為了將其轉(zhuǎn)換成模型能處理的形式，通常需要先進(jìn)行編碼，比如LabelEncoding。如果序數(shù)特征本身就是數(shù)值類型變量，則可不進(jìn)行該步驟。下面依次介紹序數(shù)特征相關(guān)的處理方式。

Label Encoding

首先介紹Label Encoding編碼方式，該方式默認(rèn)從0開始，按照變量字符順序排序，例子如下：

from sklearn.preprocessing import LabelEncoder

x = ['a', 'b', 'a', 'c', 'b']

encoder = LabelEncoder()
x1 = encoder.fit_transform(x)
x1

編碼結(jié)果

可以看到，原始特征一共被分為了3類，'a'、'b'、'c'編碼后分別為'0'、'1'、'2'。
如果你的數(shù)據(jù)是用pandas表示的，pandas中也有類似的處理方式，通過類別編碼的方式得到的結(jié)果是一樣的。

import pandas as pd

x2 = pd.Series(x).astype('category')
x2.cat.codes.values

編碼結(jié)果

因子化

除此之外，pandas中還有一種編碼方式，叫做'因子化'。不過它并不是按照特征的字符順序來排序的，而是按照特征變量出現(xiàn)的先后順序來編碼的，結(jié)果本質(zhì)上沒有區(qū)別。對(duì)比例子如下：

x = ['a', 'b', 'a', 'c', 'b']
# 調(diào)換了第一個(gè)a和第四個(gè)c的位置
x1 = ['c', 'b', 'a', 'a', 'b']

x2, uniques = pd.factorize(x)
x3, uniques = pd.factorize(x1)
print("x2: ", x2)
print("x3: ", x3)

編碼結(jié)果

二值化

序數(shù)特征還可以進(jìn)行二值化操作，小于或者大于閾值的時(shí)候分別為0和1。實(shí)例如下：

x = ['a', 'b', 'a', 'c', 'b']
x4 = pd.Series(x)
x4 = (x4 >= 'b').astype(int) #令大于等于'b'的都為1
x4.values

二值化結(jié)果

類別特征處理

類別特征由于沒有順序也沒有尺度，因此處理較為麻煩，但是在CTR等領(lǐng)域卻是非常常見的特征。比如商品的類型，顏色，用戶的職業(yè)，興趣等等。類別變量編碼方法中最常使用的就是One-Hot編碼，接下來結(jié)合具體實(shí)例來介紹。

One-Hot編碼

One-Hot編碼，又稱為'獨(dú)熱編碼'，其變換后的單列特征值只有一位是1。如下例所示，一個(gè)特征中包含3個(gè)不同的特征值(a,b,c)，編碼轉(zhuǎn)換后變成3個(gè)子特征，其中每個(gè)特征值中只有一位是有效位1。

from sklearn.preprocessing import LabelEncoder, OneHotEncoder

one_feature = ['b', 'a', 'c']
label_encoder = LabelEncoder()
feature = label_encoder.fit_transform(one_feature)
onehot_encoder = OneHotEncoder(sparse=False)
onehot_encoder.fit_transform(feature.reshape(-1, 1))

one-hot編碼結(jié)果

這里要注意的是，因?yàn)樵继卣魇亲址愋?，這里使用上一節(jié)的LabelEncoder先將其轉(zhuǎn)換成數(shù)值類型。但是實(shí)際上這一步也不需要，OneHotEncoder可以直接處理字符串類型。

LabelBinarizer

sklearn中的LabelBinarizer也具有同樣的作用，代碼如下：

from sklearn.preprocessing import LabelBinarizer
feature = np.array(['b', 'a', 'c'])
LabelBinarizer().fit_transform(feature)

LabelBinarizer轉(zhuǎn)換結(jié)果

虛擬編碼Dummy Coding

同樣，pandas中也內(nèi)置了對(duì)應(yīng)的處理方式,使用起來比Sklearn更加方便。實(shí)例如下：

one_feature = ['b', 'a', 'c']
pd.get_dummies(one_feature, prefix='test') # 設(shè)置前綴test

get_dummies編碼

其實(shí)仔細(xì)觀察One-Hot編碼會(huì)發(fā)現(xiàn)，具有n個(gè)類別值的單個(gè)特征將會(huì)編碼成n個(gè)子特征。但實(shí)際上有一維是冗余的。虛擬編碼（dummy coding）可以只產(chǎn)生n-1個(gè)特征，再使用一個(gè)全零的向量，實(shí)例如下：

one_feature = ['b', 'a', 'c']
pd.get_dummies(one_feature, prefix='test', drop_first=True) # 設(shè)置前綴test

虛擬編碼

可以看到這里只產(chǎn)生了2個(gè)子特征，剩余的一個(gè)特征由全零向量表示。

特征哈希

按照上述編碼方式，如果某個(gè)特征具有100個(gè)類別值，那么經(jīng)過編碼后將產(chǎn)生100個(gè)或99個(gè)新特征，這極大地增加了特征維度和特征的稀疏度，同時(shí)還可能會(huì)出現(xiàn)內(nèi)存不足的情況。sklearn中的FeatureHasher接口采用了hash的方法，將不同的值映射到用戶指定長度的數(shù)組中，使得輸出特征的維度是固定的，該方法占用內(nèi)存少，效率高，可以在多類別變量值中使用，但是由于采用了Hash函數(shù)的方式，所以具有沖突的可能，即不同的類別值可能映射到同一個(gè)特征變量值中。
下面的例子中，原始特征類別值共有10個(gè)不同的值，但是只采用了長度為5的數(shù)組進(jìn)行編碼。

from sklearn.feature_extraction import FeatureHasher

h = FeatureHasher(n_features=5, input_type='string')
test_cat = ['a','b','c','d','e','f','g','h','i','j','a','b']
f = h.transform(test_cat)
f.toarray()

FeatureHasher

可以看到編碼后的特征值是有重復(fù)的，說明多個(gè)不同的原始特征類別值編碼后，被映射到了同一個(gè)類別里。

多類別值處理方式

當(dāng)類別值過多時(shí)，One-Hot 編碼或者Dummy Coding都可能導(dǎo)致編碼出來的特征過于稀疏，其次也會(huì)占用過多內(nèi)存。如果使用FeatureHasher，n_features的設(shè)置不好把握，可能會(huì)造成過多沖突，造成信息損失。這里提供一種基于統(tǒng)計(jì)的編碼方法，包括基于特征值的統(tǒng)計(jì)或者基于標(biāo)簽值的統(tǒng)計(jì)——基于標(biāo)簽的編碼。

下面的代碼演示了使用特征值出現(xiàn)頻數(shù)的分組方法，小于指定閾值的特征將被編碼為同一個(gè)值。

import seaborn as sns

test = ['a','b','c','d','e','a','a','c']
df = pd.DataFrame(test, columns=['alpha'])
sns.countplot(df['alpha'])

頻數(shù)劃分

首先我們將每個(gè)類別值出現(xiàn)的頻數(shù)計(jì)算出來，比如我們?cè)O(shè)置閾值為1，那么所有小于閾值1的類別值都會(huì)被編碼為同一類，大于1的類別值會(huì)分別編碼，如果出現(xiàn)頻數(shù)一樣的類別值，既可以都統(tǒng)一分為一個(gè)類，也可以按照某種順序進(jìn)行編碼，這個(gè)可以根據(jù)業(yè)務(wù)需要自行決定。那么根據(jù)上圖，可以得到其編碼值為：

按照頻數(shù)編碼結(jié)果

即（a,c）分別編碼為一個(gè)不同的類別，（e,b,d）編碼為同一個(gè)類別。

WOE編碼

WOE（Weight of Evidence，證據(jù)權(quán)重）編碼利用了標(biāo)簽信息，屬于有監(jiān)督的編碼方式。該方式廣泛用于金融領(lǐng)域信用風(fēng)險(xiǎn)模型中，是該領(lǐng)域的經(jīng)驗(yàn)做法。下面先給出WOE的計(jì)算公式：

值可解釋為第類別中好壞樣本分布比值的對(duì)數(shù)。其中各個(gè)分量的解釋如下：

• 表示該類別中壞樣本的分布
• 表示該類別中好樣本的分布
• 表示該類別中壞樣本的數(shù)量在總體壞樣本中的占比
• 表示該類別中好樣本的數(shù)量在總體好樣本中的占比

很明顯，如果整個(gè)分?jǐn)?shù)的值大于1，那么WOE值為正，否則為負(fù)，所以WOE值的取值范圍為正負(fù)無窮。
WOE值直觀上表示的實(shí)際上是“當(dāng)前分組中壞客戶占所有壞客戶的比例”和“當(dāng)前分組中好客戶占所有壞客戶的比例”的差異。轉(zhuǎn)化公式以后，也可以理解為：當(dāng)前這個(gè)組中壞客戶和好客戶的比值，和所有樣本中這個(gè)比值的差異。這個(gè)差異為這兩個(gè)比值的比值，再取對(duì)數(shù)來表示的。
WOE越大，這種差異越大，這個(gè)分組里的樣本壞樣本可能性就越大，WOE越小，差異越小，這個(gè)分組里的壞樣本可能性就越小。

下面結(jié)合一個(gè)例子來說明WOE的計(jì)算：

np.random.seed(0)
# 隨機(jī)生成1000行數(shù)據(jù)
df = pd.DataFrame({
    'x': np.random.choice(['R','G','B'], 1000),
    'y': np.random.randint(2, size=1000)
})
df.head()

隨機(jī)生成的數(shù)據(jù)

其中x代表特征，包含3個(gè)類別（R，G，B），y表示標(biāo)簽，取值范圍為0、1，分別代表好、壞標(biāo)簽。
分別統(tǒng)計(jì)該特征中各個(gè)類別的占比，代碼如下：

pd.crosstab(df['y'], df['x'], margins=True)

各類別占比

參考

• 《機(jī)器學(xué)習(xí)--軟件工程方法與實(shí)現(xiàn)》
• https://zhuanlan.zhihu.com/p/146476834
• http://www.itdecent.cn/p/4a1dc6ea3f8c