在計算loss時，我們經(jīng)?？梢钥匆姴捎?softmax_cross_entropy_with_logits" 的方法作為損失函數(shù)，那么它到底是什么含義呢？
loss函數(shù)可以理解成為我們需要去優(yōu)化的函數(shù)，即最小化的函數(shù)值。
tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)
除去name參數(shù)用以指定該操作的name，與方法有關(guān)的一共兩個參數(shù)：
第一個參數(shù)logits：就是神經(jīng)網(wǎng)絡(luò)最后一層的輸出，如果有batch的話，它的大小就是[batchsize，num_classes]，單樣本的話，大小就是num_classes。
第二個參數(shù)labels：實(shí)際的標(biāo)簽，大小同上。
具體的執(zhí)行流程大概分為兩步：
第一步是先對網(wǎng)絡(luò)最后一層的輸出做一個softmax，這一步通常是求取輸出屬于某一類的概率，對于單樣本而言，輸出就是一個num_classes大小的向量（[Y1，Y2,Y3...]其中Y1，Y2，Y3...分別代表了是屬于該類的概率）
第二步是softmax的輸出向量[Y1,Y2,Y3...]和樣本的實(shí)際標(biāo)簽做一個交叉熵，公式如下：
其中是實(shí)際的標(biāo)簽中第i個類別的值，(用mnist數(shù)據(jù)舉例，如果是3，那么標(biāo)簽是[0，0，0，1，0，0，0，0，0，0]，除了第4個值為1，其他全為0).
是softmax的輸出向量[Y1,Y2,Y3...]中，第i個類別的值，顯而易見，預(yù)測
越準(zhǔn)確， 結(jié)果的值越小（別忘了前面還有負(fù)號），最后求一個平均，得到我們想要的loss。
注意?。?！這個函數(shù)的返回值并不是一個數(shù)，而是一個向量。如果要求交叉熵，我們要再做一步tf.reduce_sum操作，如果要求交叉熵，我們要再做一步tf.reduce_sum操作,就是對向量里面所有元素求和，最后才得到。如果求loss，則要做一步tf.reduce_mean操作，對向量求均值！
上代碼：
import tensorflow as tf
#our NN's output
logits=tf.constant([[1.0,2.0,3.0],[1.0,2.0,3.0],[1.0,2.0,3.0]])
#step1:do softmax
y=tf.nn.softmax(logits)
#true label
y_=tf.constant([[0.0,0.0,1.0],[0.0,0.0,1.0],[0.0,0.0,1.0]])
#step2: do cross_entropy
cross_entropy = -tf.reduce_sum(y_*tf.log(y))
#do cross_entropy just one step
cross_entropy2=tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(labels = y_, logits=logits))#dont forget tf.reduce_sum()!!
with tf.Session() as sess:
softmax=sess.run(y)
c_e = sess.run(cross_entropy)
c_e2 = sess.run(cross_entropy2)
print("step1:softmax result=")
print(softmax)
print("step2:cross_entropy result=")
print(c_e)
print("Function(softmax_cross_entropy_with_logits) result=")
print(c_e2)
