關(guān)于邏輯回歸模型的梯度下降算法

邏輯回歸的代價(jià)函數(shù)：

J(\theta)=-\frac{1}{m} \sum_1^m [y^{(i)} \log(h_\theta(x^{(i)})) + (1-y^{(i)}) \log(1-h_\theta(x^{(i)}))]

與線性回歸一樣，它的梯度下降算法類似：

重復(fù)直到J(\theta)收斂 {
\theta_j:=\theta_j?\alpha \frac{\partial}{\partial \theta_j} J(\theta)
}

計(jì)算\frac{\partial}{\partial \theta_j} J(\theta)后會(huì)得到：
\theta_j:=\theta_j?\alpha \frac{1}{m} \sum_{i=0}^m((h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}), j \epsilon \left(0, 1, 2,...,n\right)

計(jì)算后得到的和線性回歸的看上去沒(méi)有區(qū)別，但是兩者的h_\theta(x)不同。
線性回歸的是：h_\theta(x) = \theta^Tx
邏輯回歸的是：h_\theta(x) = \frac{1}{1+e^{-\theta^Tx}}

因?yàn)轭A(yù)測(cè)函數(shù)改變了，所以兩者的梯度下降算法是不一樣的。

舉例說(shuō)明

假設(shè)數(shù)據(jù)集有5個(gè)樣本，每個(gè)樣本有2個(gè)特征值，即m=5,n=2如下：

X = \left[ \begin{matrix} 34.62 & 78.02 \\\ 30.29 & 3.89 \\\ 35.85 & 72.9 \\\ 60.18 & 86.31 \\\ 79.03 & 75.34 \end{matrix} \right], y = \left[ \begin{matrix}0 \\\ 0 \\\ 0 \\\ 1 \\\ 1 \end{matrix} \right]

初始化\theta=\left[ \begin{matrix}0 \\\ 0 \\\ 0 \end{matrix} \right]，然后在輸入矩陣加上一列x_0=1，
X = \left[ \begin{matrix} 1 & 34.62 & 78.02 \\\ 1 & 30.29 & 3.89 \\\ 1 & 35.85 & 72.9 \\\ 1 & 60.18 & 86.31 \\\ 1 & 79.03 & 75.34 \end{matrix} \right]

先計(jì)算預(yù)測(cè)函數(shù)h：
h=g(X\cdot\theta)
X\cdot\theta = \left[ \begin{matrix} 1 & 34.62 & 78.02 \\\ 1 & 30.29 & 3.89 \\\ 1 & 35.85 & 72.9 \\\ 1 & 60.18 & 86.31 \\\ 1 & 79.03 & 75.34 \end{matrix} \right] \left[ \begin{matrix} 0 \\\ 0 \\\ 0 \end{matrix} \right] = \left[ \begin{matrix} 0 \\\ 0 \\\ 0 \end{matrix} \right]
代入g函數(shù)，可以的得到預(yù)測(cè)結(jié)果h=\left[ \begin{matrix} \frac{1}{1+e^0} \\\ \frac{1}{1+e^0} \\\ \frac{1}{1+e^0}\\\ \frac{1}{1+e^0}\\\ \frac{1}{1+e^0} \end{matrix} \right]=\left[ \begin{matrix} 0.5 \\\ 0.5 \\\ 0.5 \\\ 0.5 \\\ 0.5 \end{matrix} \right]

代入J的公式
J(\theta)=\frac{1}{m} \cdot (-y^T \log(h) -(1-y)^T \log(1-h))
此時(shí)代價(jià)函數(shù)J的值為：\color{red}{0.69315}

下面計(jì)算第一次梯度下降的梯度值，代入下面的公式
\theta = \theta - \frac{\alpha}{m} X^T(h-y)

即：
\theta = \theta - \alpha\frac{1}{5} \cdot \left[ \begin{matrix} 1 & 1 & 1 & 1 & 1 \\\ 34.62 & 30.29 & 35.85 & 60.18 & 79.03 \\\ 78.02 & 3.89 & 72.9 & 86.31 & 75.34 \end{matrix} \right] \left[ \begin{matrix} 0.5 - 0 \\\ 0.5-0 \\\ 0.5-0 \\\ 0.5-1 \\\ 0.5-1 \end{matrix} \right] = \left[ \begin{matrix} 0 \\\ 0 \\\ 0 \end{matrix} \right] - \alpha \cdot \left[ \begin{matrix} 0.1 \\\ -3.846 \\\ 3.317 \end{matrix} \right]

假設(shè)\alpha=0.01，則\theta=\left[ \begin{matrix}0.001 \\\ 0.03846 \\\ -0.03317\end{matrix} \right]

再次計(jì)算代價(jià)函數(shù)J為：\color{red}{0.51494}

這個(gè)例子用矩陣和向量來(lái)進(jìn)行了代價(jià)函數(shù)和梯度下降的計(jì)算。

轉(zhuǎn)載自：
https://codeeper.com/2020/01/11/tech/machine_learning/classification_gradient_descent.html

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 背景 學(xué)習(xí)深度學(xué)習(xí)已經(jīng)一段時(shí)間了，但是學(xué)習(xí)過(guò)程中總覺(jué)得缺了點(diǎn)什么，無(wú)從動(dòng)手編程。因此，我還是希望使用寫文章的方式來(lái)...
    yjy239閱讀 2,359評(píng)論 0贊 7
  • 線性模型 根據(jù)周志華老師的定義來(lái)說(shuō)，線性模型是指其通過(guò)屬性的線性組合來(lái)進(jìn)行預(yù)測(cè)的函數(shù)，即用一般向量形式，則寫成其中...
    懷柔小龍蝦閱讀 4,465評(píng)論 1贊 24
  • 線性回歸算法是使用線性方程對(duì)數(shù)據(jù)集擬合得算法，是一個(gè)非常常見(jiàn)的回歸算法。本章首先從最簡(jiǎn)單的單變量線性回歸算法開(kāi)始介...
    金字塔下的小蝸牛閱讀 3,019評(píng)論 0贊 4
  • AI人工智能時(shí)代，機(jī)器學(xué)習(xí)，深度學(xué)習(xí)作為其核心，本文主要介紹機(jī)器學(xué)習(xí)的基礎(chǔ)算法，以詳細(xì)線介紹 線性回歸算法 及其 ...
    erixhao閱讀 14,208評(píng)論 0贊 36
  • 上一章中有提到利用解析解求解多元線性回歸,雖然看起來(lái)很方便,但是在解析解求解的過(guò)程中會(huì)涉及到矩陣求逆的步驟...
    今晨er閱讀 559評(píng)論 0贊 0

友情鏈接更多精彩內(nèi)容