機(jī)器學(xué)習(xí)day14K均值算法

K均值算法

K均值聚類的核心目標(biāo)是將給定的數(shù)據(jù)集劃分成K個簇，并給出每個數(shù)據(jù)對應(yīng)的簇中心點。

  1. 數(shù)據(jù)預(yù)處理，包括但不限于歸一化，離群點處理等
  2. 隨機(jī)選擇K個簇中心，我們記為\mu_1^{(0)},\mu_2^{(0)},...,\mu_K^{(0)}
  3. 定義代價函數(shù)，J(c,\mu)=\underset{\mu}{min} \underset{c}{min} \sum_{i=1}^M|||x_i-\mu_{c_i}||^2
  4. 令t=0,1,2,3...，進(jìn)行迭代，重復(fù)直至J收斂
    此時，對于每個樣本x_i，將分配到距離最近的簇
    c_i^{(t)}\leftarrow\underset{k}{argmin}||x_i-\mu_k^{(t)}||^2
    對于每個簇k，重新計算各個簇的中心
    \mu_k^{(t+1)}\leftarrow\underset{\mu}{argmin}\sum_{i:c_{i}^{(t)}=k}||x_i-\mu||^2
    K均值在迭代中，如果J沒有達(dá)到最小值，那么首先重新計算當(dāng)前簇的中心\{u_k\}，調(diào)整每個樣例x_i所屬的類別c_i來讓J的值減少，之后計算\{c_i\}，調(diào)整簇中心\{\mu_k\}使J減少，如此重復(fù)迭代，直到J減少到最小值，\{\mu_k\}和\{c_i\}此時也收斂。

K均值算法示意圖

K均值聚類算法迭代
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容