Logistic Regression with Softmax and Cross-Entropy
分布向量(Distribution Vector)與標簽向量(Label Vector)的距離
由Softmax函數(shù)得到的分布向量,對與數(shù)乘運算比較敏感(例如,對分布向量乘以10,可以得到一個概率趨近于1或0的分布;而對分布向量除以10,則可能得到一個均勻分布的向量),基于此,需要度量分布向量和標簽向量的距離。

1.png
圖中S表示分布向量,L表示標簽向量。S、L的位置不可以互換,因為對數(shù)函數(shù)的存在。
完整的Logistic Regression如下圖所示。

2.png