sigmoid函數(shù)（也叫邏輯斯諦函數(shù)）：
引用wiki百科的定義：
A logistic function or logistic curve is a common “S” shape (sigmoid curve).
其實邏輯斯諦函數(shù)也就是經(jīng)常說的sigmoid函數(shù)，它的幾何形狀也就是一條sigmoid曲線。
wiki百科對softmax函數(shù)的定義：
softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.
這句話既表明了softmax函數(shù)與logistic函數(shù)的關(guān)系，也同時闡述了softmax函數(shù)的本質(zhì)就是將一個K
維的任意實數(shù)向量壓縮（映射）成另一個K
維的實數(shù)向量，其中向量中的每個元素取值都介于（0，1）之間。
softmax函數(shù)形式如下：
總結(jié)：
sigmoid將一個real value映射到（0,1）的區(qū)間（當然也可以是（-1,1）），這樣可以用來做二分類。
而softmax把一個k維的real value向量（a1,a2,a3,a4….）映射成一個（b1,b2,b3,b4….）其中bi是一個0-1的常數(shù)，然后可以根據(jù)bi的大小來進行多分類的任務(wù)，如取權(quán)重最大的一維。
sigmoid函數(shù)：
那么對應(yīng)的對數(shù)圖像是：
我們要做的是分類，因此當然是想知道，當輸入x是，x分別屬于每一個類的概率，概率最大的那個就是我們認為的屬于的類。
讓輸出為一個向量，并且有k維，分別代表屬于i類的概率。當然還要進行歸一化，讓輸出的向量元素的值和為1.
因此就是對輸出進行歸一化。
softmax模型的參數(shù)是k個n+1維的θ組成的矩陣，輸出的是向量。
