特征選擇就是剔除與標注不相關(guān)或者冗余的特征，它是數(shù)據(jù)歸約的思路之一（另一個思路為抽樣）

特征選擇主要包括三種思想：過濾思想、包裹思想和嵌入思想。

編程實現(xiàn)：

第一步，導入必要的包：

import pandas as pd

import numpy as np

import scipy.stats as ss

from sklearn.svm import SVR? #線性回歸器

from sklearn.tree import DecisionTreeRegressor? #決策樹回歸

from sklearn.feature_selection import SelectKBest,RFE,SelectFromModel

第二步，導入一組DataFrame數(shù)據(jù)：

第三步，特征選擇：

1.過濾思想：去掉相關(guān)性差的特征

過濾思想代碼實現(xiàn)

2.包裹思想：構(gòu)造簡單模型，用線性回歸器，每次迭代去掉一個弱特征

包裹思想代碼實現(xiàn)

3.嵌入思想：利用回歸方法，去掉系數(shù)比較小的特征，這種方法存在一定風險，因為可能導致重要特征被丟棄。

（SelectFromModel()必須要有feature_importances和coef_這兩個參數(shù)才能用,但當數(shù)據(jù)量比較龐大又需要快速的找出特征的時候，可以用threshold來對樣本數(shù)據(jù)進行簡單的評估（threshold表示低于多少會去掉一個特征））

嵌入思想代碼實現(xiàn)