3.4 softmax回歸
前幾節(jié)介紹的線性回歸模型適用于輸出為連續(xù)值的情景。在另一類情景中，模型輸出可以是一個(gè)像圖像類別這樣的離散值。對于這樣的離散值預(yù)測問題，我們可以使用諸如softmax回歸在內(nèi)的分類模型。和線性回歸不同，softmax回歸的輸出單元從一個(gè)變成了多個(gè)，且引入了softmax運(yùn)算使輸出更適合離散值的預(yù)測和訓(xùn)練。本節(jié)以softmax回歸模型為例，介紹神經(jīng)網(wǎng)絡(luò)中的分類模型。
3.4.1 分類問題
image.png
3.4.2 softmax回歸模型
image.png
image.png
image.png
3.4.3 單樣本分類的矢量計(jì)算表達(dá)式
為了提高計(jì)算效率，我們可以將單樣本分類通過矢量計(jì)算來表達(dá)。在上面的圖像分類問題中，假設(shè)softmax回歸的權(quán)重和偏差參數(shù)分別為
image.png
3.4.4 小批量樣本分類的矢量計(jì)算表達(dá)式
image.png
3.4.5 交叉熵?fù)p失函數(shù)
image.png
3.4.6 模型預(yù)測及評價(jià)
在訓(xùn)練好softmax回歸模型后，給定任一樣本特征，就可以預(yù)測每個(gè)輸出類別的概率。通常，我們把預(yù)測概率最大的類別作為輸出類別。如果它與真實(shí)類別（標(biāo)簽）一致，說明這次預(yù)測是正確的。在3.6節(jié)的實(shí)驗(yàn)中，我們將使用準(zhǔn)確率（accuracy）來評價(jià)模型的表現(xiàn)。它等于正確預(yù)測數(shù)量與總預(yù)測數(shù)量之比。
小結(jié)
- softmax回歸適用于分類問題。它使用softmax運(yùn)算輸出類別的概率分布。
- softmax回歸是一個(gè)單層神經(jīng)網(wǎng)絡(luò)，輸出個(gè)數(shù)等于分類問題中的類別個(gè)數(shù)。
- 交叉熵適合衡量兩個(gè)概率分布的差異。
注：本節(jié)與原書基本相同，原書此節(jié)傳送門
