李宏毅ML04—Classification

Classification（分類）

  • 應用舉例
    • Credit Scoring
      • input: income, saving, profession, age, past financial history...
      • output: accept or refuse
    • Medical Diagosis
      • input: current symptons, age, gender, past medical history...
      • output: which kind of disease
    • Handwritting recognition
    • Face recognition

1.數學前提

情景：盒1（4藍球，1綠球），盒2（2籃球，3綠球），拿盒1的概率是2/3，拿盒2的概率是1/3

  • 先驗概率：知因求果
    從盒1中拿，拿出籃球的概率是多少
    P(Blue|Box1)=\frac{4}{5}
  • 后驗概率：知果求因（此時用到了貝葉斯公式）
    已知拿到了籃球，則從盒1中拿的概率是多少
    P(Box1|Blue)=\frac{P(Blue|Box1)P(Box1)}{P(Blue|Box1)P(Box1)+P(Blue|Box2)P(Box2)}
  • 貝葉斯公式：
    P(C_i|x)=\frac{P(x|C_i)P(C_i)}{\sum\limits_{j=1}^n{P(x|C_j)P(C_j)}}
    事件C_i的概率為P(C_i)，事件C_i已發(fā)生條件下事件x的概率為P(x|C_i)，事件x發(fā)生條件下事件Ci的概率為P(C_i│x)
  • generative model（生成模型）
    那上訴的這些數值從哪里來呢，就從training data里面，估計出來，這個想法就是生成模型。
    例如，P(Blue)=P(Blue|Box1)P(Box1)+P(Blue|Box2)P(Box2)
  • 極大似然估計：知果求最可能的原因
  • Naive Bayes（樸素貝葉斯）：假設屬性之間都是互相獨立的，則稱這個貝葉斯是樸素的貝葉斯，用此假定，是為了簡化計算。
    P(x|C_1)=\prod\limits_{n=1}^KP(x_n|C_1)
    則樸素貝葉斯公式為：
    P(C_i|x)=\frac{P(C_i)\prod\limits_{n=1}^KP(x_n|C_1)}{\sum\limits_{j=1}^n[{P(C_j)\prod\limits_{n=1}^KP(x_n|C_1)]}}

2 分類步驟

2.1 首先明確現在做的這一步

目的：確認x這個點是否是在類別A里面
方法：所有的類別都有自己的分布，計算x這個點在類別里分布的概率，當概率大于0.5時，就可認為x屬于這個類別
問題：這個（高斯）分布怎么計算呢？
解決：極大似然估計

2.2 Guassian Distribution（高斯分布）

f_{\mu,\Sigma}(x)= \frac{1}{(2\pi)^{\frac{D}{2}}} \times \frac{1}{|\Sigma|^{\frac{1}{2}}}\exp \{ -\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu) 1\}
其中 mean\mu：均值；covariance matrix \Sigma：協方差矩陣

  • 這個公式中，若已知均值和協方差矩陣，將目標點帶入，就可求得此點在該高斯分布中的位置。
    接下來就需要用極大似然估計，來找出該高斯分布，最有可能是由那個均值和哪個協方差矩陣組成的。


    哪個參數才是最好的呢

2.3 極大似然估計

  • Likelihood(\mu,\Sigma)=f_{\mu,\Sigma}(x_1)f_{\mu,\Sigma}(x_2)...f_{\mu,\Sigma}(x_n)
    這個是均值和協方差矩陣的可能性
  • 若要使得可能性最大，即\mu^*,\Sigma^*=\arg maxL(\mu,\Sigma)均值和協方差矩陣需滿足如下公式
    \mu^*=\frac{1}{79}\sum\limits_{n=1}^{79}x^n
    \mu為平均值
    \Sigma^*=\frac{1}{79}\sum\limits_{n=1}^{79}(x^n-\mu^*)(x^n-\mu^*)^T
  • 此時我們已經得到了\mu^*,\Sigma^*，由此可得此高斯分布，現在我們回到貝葉斯公式

2.4 用貝葉斯公式進行分類

2.4.1 第一次嘗試

將得到的高斯分布放進貝葉斯公式中
  • 然而由此得出的效果正確率只有47%，即使把七維的參數都放進來，準確率也只有54%，此時需要調整模型

2.4.2 第二次嘗試

  • 調整模型
    根據以往經驗得出，其實協方差矩陣用同一個即可，即\Sigma = \frac{79}{140}\Sigma^1+\frac{61}{140}\Sigma^2，均值還是各自的照舊，用同一個協方差矩陣會產生一個線性的邊界。
    此時，準確率達到了73%

  • Sigmoid function
    \sigma(z)=\frac{1}{1+e^{-z}}

    Sigmoid

    Sigmoid funciton 有很多優(yōu)良的特性，值域為(0,1)，在0.5周圍敏感，在0,1附近不敏感，非常適合用于二分任務

2.5 Linear Regression 和 Logistic Regression 的區(qū)別和聯系

在貝葉斯公式中，P(C_1|x)可以寫成\sigma(z)的形式，而z經過一番運算以后，可以得到一個w·x+b的形式，即最終\sigma(w·x+b)
從中，我們能看出 Linear Regression 在經過了 Sigmoid function 處理之后，變成了能夠處理了二分任務的 Logistic Regression

?著作權歸作者所有,轉載或內容合作請聯系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

  • 樸素貝葉斯 在機器學習中，樸素貝葉斯分類器是一系列以假設特征之間強（樸素）獨立下運用貝葉斯定理為基礎的簡單概率分類...
    七八音閱讀 21,301評論 0贊 21
  • 考試說明 注重基礎知識和概念的理解，因此解題中的計算過程不會很復雜，但是會有推公式的過程。本課程的重點知識包括：貝...
    城市中迷途小書童閱讀 1,278評論 0贊 0
  • 二元變量 伯努利分布 似然函數為 對數似然函數為 如果我們令關于u的導數等于零，我們就得到了最大似然的估計值 現在...
    初七123閱讀 1,810評論 0贊 4
  • 網購了一套汽車座墊，收到貨物的時候內心是挺高興的，因為終于可以給自己的愛車換上一套屬于自己的衣服，整個感覺會煥然一...
    鄭勝杰閱讀 81評論 0贊 0
  • 最喜歡的關系是，你坐在我身邊不說話也不會覺得尷尬…… 我不會難為情，也不會臉紅心跳。而是覺得這樣很平淡。 就連坐下...
    可愛的學長閱讀 433評論 0贊 1

友情鏈接更多精彩內容