科研：

1.softmax層

通常情況下softmax會被用在網(wǎng)絡(luò)中的最后一層，用來進行最后的分類和歸一化。

softmax回歸模型是logistic回歸模型在多分類問題上的推廣，在多分類問題中，待分類的類別數(shù)量大于2，且類別之間互斥。比如我們的網(wǎng)絡(luò)要完成的功能是識別0-9這10個手寫數(shù)字，若最后一層的輸出為[0,1,0, 0, 0, 0, 0, 0, 0, 0]，則表明我們網(wǎng)絡(luò)的識別結(jié)果為數(shù)字1。

Softmax的公式為

可以直觀看出如果某一個zj大過其他zi,那這個映射的分量就逼近于1,其他就逼近于0，并且對所有輸入數(shù)據(jù)進行歸一化。

softmax層的損失函數(shù)

通常情況下softmax會被用在網(wǎng)絡(luò)中的最后一層，用來進行最后的分類和歸一化。所以其實上邊softmax層的反向傳播一般不會用到。

Softmax的損失函數(shù)使用的是對數(shù)損失函數(shù)

，其中k為該樣本的label（即該樣本對應(yīng)的正確輸出，比如我們要識別的圖片是數(shù)字7，則k=7，選擇softmax的第7個輸出值來計算loss）。一般我們進行訓(xùn)練時一批圖片有多張，比如batch size = 16，則

在caffe中

關(guān)于softmax層有2種實現(xiàn)，一種是SoftmaxWithLoss，可以計算出loss；另一種為softmax，只計算出每個類別的概率似然值。

2.logistic回歸模型(也適用于分類問題）

邏輯回歸是為了解決分類問題，根據(jù)一些已知的訓(xùn)練集訓(xùn)練好模型，再對新的數(shù)據(jù)進行預(yù)測屬于哪個類

輸出Y=1的對數(shù)幾率是由輸入xx的線性函數(shù)表示的模型，即邏輯斯蒂回歸模型(李航.《統(tǒng)計機器學(xué)習(xí)》)。而直接考察公式1可以得到另一種對邏輯回歸的定義，線性函數(shù)的值越接近正無窮，概率值就越接近1；線性值越接近負無窮，概率值越接近0，這樣的模型是邏輯斯蒂回歸模型(