- 根據(jù)類別特征的意義進行合并(分桶)
- 將類別按頻次排序,頻次特別低的一部分合并
- 特征哈希
- PCA降維
- 按照該特征對應(yīng)目標值進行合并
- 使用每個分類對應(yīng)目標變量均值+偏差,或出現(xiàn)頻數(shù)代替
-如果測試集中存在訓練集沒有的樣本,需要考慮補缺策略?
不把自身的label算進去(leave-me-out, leave-one-out)統(tǒng)計, 防止信息泄露
- 考慮平均數(shù)編碼(高基數(shù)類別特征)
- Embedding
將離散型特征進行one-hot編碼的作用,是為了讓距離計算更合理,但如果特征是離散的,并且不用one-hot編碼就可以很合理的計算出距離,那么就沒必要進行one-hot編碼。 有些基于樹的算法在處理變量時,并不是基于向量空間度量,數(shù)值只是個類別符號,即沒有偏序關(guān)系,所以不用進行獨熱編碼。 Tree Model不太需要one-hot編碼: 對于決策樹來說,one-hot的本質(zhì)是增加樹的深度。
LR是適合使用ID類特征的,原因在于LR適合接受超高維度的特征輸入。
OneHotEncoder獨熱編碼和 LabelEncoder標簽編碼
分類變量,進行One hot編碼,維度升高,如何處理?
hashing trick或者feature hashing是什么
類別型特征的處理方法與平均數(shù)編碼
How to deal with Features having high cardinality
機器學習中如何利用id類特征?
https://www.zhihu.com/question/266195966