K近鄰法（KNN）

KNN模型概括

  • KNN是非線性算法，可以用于分類，也可以用于回歸問題。
  • 對于新的實(shí)例，根據(jù)其K個最近鄰的訓(xùn)練實(shí)例的類別，通過多數(shù)表決方式處理分類問題，通過均值方式處理回歸問題。
  • K近鄰不具有顯示的學(xué)習(xí)過程，實(shí)際上利用訓(xùn)練數(shù)據(jù)集對特征空間進(jìn)行劃分，并作為其分類或者回歸的模型。
  • K近鄰包含三個要素，K值的選擇，距離度量，分類決策規(guī)則等等；
  • KNN思想簡單，對outlier不敏感，但是計算復(fù)雜度較高，通過構(gòu)建kd樹，提高KNN的搜索效率。（KNN適用于樣本量遠(yuǎn)遠(yuǎn)大于特征維數(shù)的情況）

如何提高K近鄰搜索的效率？

傳統(tǒng)方法是線性掃描，計算輸入實(shí)例與每個已標(biāo)樣本的距離；
kd樹方法：二叉樹，表示對k維空間的一個劃分；

構(gòu)建kd樹

搜索kd樹

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容