One hot編碼維度過高解決方法

  1. 根據(jù)類別特征的意義進行合并(分桶)
  2. 將類別按頻次排序,頻次特別低的一部分合并
  3. 特征哈希
  4. PCA降維
  5. 按照該特征對應(yīng)目標值進行合并
  6. 使用每個分類對應(yīng)目標變量均值+偏差,或出現(xiàn)頻數(shù)代替
    -如果測試集中存在訓練集沒有的樣本,需要考慮補缺策略?

不把自身的label算進去(leave-me-out, leave-one-out)統(tǒng)計, 防止信息泄露

  1. 考慮平均數(shù)編碼(高基數(shù)類別特征)
  2. Embedding

將離散型特征進行one-hot編碼的作用,是為了讓距離計算更合理,但如果特征是離散的,并且不用one-hot編碼就可以很合理的計算出距離,那么就沒必要進行one-hot編碼。 有些基于樹的算法在處理變量時,并不是基于向量空間度量,數(shù)值只是個類別符號,即沒有偏序關(guān)系,所以不用進行獨熱編碼。 Tree Model不太需要one-hot編碼: 對于決策樹來說,one-hot的本質(zhì)是增加樹的深度。

LR是適合使用ID類特征的,原因在于LR適合接受超高維度的特征輸入。

OneHotEncoder獨熱編碼和 LabelEncoder標簽編碼
分類變量,進行One hot編碼,維度升高,如何處理?
hashing trick或者feature hashing是什么
類別型特征的處理方法與平均數(shù)編碼
How to deal with Features having high cardinality
機器學習中如何利用id類特征?
https://www.zhihu.com/question/266195966

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容