提供好的特征是機器學(xué)習(xí)任務(wù)中最重要的工作，那么何為優(yōu)秀的機器學(xué)習(xí)特征？以及如何高效地組合這些特征？
以二分類問題為例，好的特征具有很好的區(qū)分性。例如學(xué)習(xí)任務(wù)是區(qū)分兩種不同類型的狗：灰獵犬（Greyhound）和拉布拉多犬（Labrador）。假設(shè)有身高和眼睛的顏色兩種特征。一般而言，灰獵犬的平均身高要比拉布拉多犬要高一些，而狗的眼睛的顏色不取決于夠的品種，因此可以認(rèn)為“身高”這個特征就比“眼睛顏色”這個特征更有用，因為“眼睛顏色”這個特征沒有告訴我們?nèi)魏涡畔ⅰ?/p>
雖然灰獵犬的平均身高要比拉布拉多犬要高一些，但并不是說所有灰獵犬的身高都要比拉布拉多犬要高，那么為什么“身高”是一個有用的特征呢？假設(shè)在一個數(shù)據(jù)集D上兩種類型的狗的身高分布如下圖所示，其中紅色表示灰獵犬，藍(lán)色表示比拉布拉多犬。在這個數(shù)據(jù)集D上灰獵犬和拉布拉多犬各有500值，平均身高分別為28英寸和24英寸。
現(xiàn)在我們需要斷定在特定的身高每種狗的概率分布?，F(xiàn)假設(shè)有一批身高為20英寸的狗，我們該如何預(yù)測這批狗的品種，使得我們的預(yù)測錯誤率最低呢？根據(jù)上面的圖，我們判斷這批狗中的大部分可能是拉布拉多犬。同樣，看圖的靠右側(cè)的柱狀圖，比如35英寸的身高的狗我們有信心認(rèn)為其是灰獵犬。25英寸高的狗呢？這個時候我們就很難判斷其是什么品種了。綜上，身高是一個有用的特征，但它并不完美。一般而言，機器學(xué)習(xí)任務(wù)都很難只需要單一的特征。這就是為什么在機器學(xué)習(xí)任務(wù)里我們需要多種特征，否則就不需要機器學(xué)習(xí)算法，而只需要寫if else語句就夠了。Features capture different types of information。
假設(shè)一個特征的取值在二分類任務(wù)的正例和反例中各占大概一半的比例，那么這樣的特征是沒有用的，比如上面例子中的狗的眼睛顏色。無用的特征會降低分類器的準(zhǔn)確率，特別是在樣本數(shù)量較少的情況下。
由于不同類型的特征還應(yīng)該包含不同類型的信息，這樣才能夠起到互相補充的作用。也就是說應(yīng)該避免冗余的特征。比如“單位為英寸的身高”和“單位和厘米的身高”兩個特征之間并不是相互獨立的，只是同一個屬性的2種不同維度的測試數(shù)據(jù)而已，因此這2個特征只要保留其中一個就可以了。應(yīng)該刪除與已有特征高度密切相關(guān)的特征。
最后，好的特征還應(yīng)該是易于理解的。比如要預(yù)測從一個城市寄一封信去另一個城市需要多長時間可以到達(dá)，一個易于理解的特征的例子是這2座城市之間的距離；一個不易于理解的特征組合是這2個城市各種的經(jīng)緯度信息。因為簡單的關(guān)系更加易于學(xué)習(xí)，復(fù)雜的關(guān)系則需要更多的訓(xùn)練數(shù)據(jù)，因此更難被學(xué)習(xí)出來。
總結(jié)
- 避免無用的特征（avoid useless features）
- 避免冗余的特征（avoid redundant features）
- 使用易于理解的簡單特征(good features should easy to understand)
好的特征具有如下的特點：
- 有區(qū)分性（Informative）
- 特征之間相互獨立（Independent）
- 簡單易于理解（Simple）
