單層NN中使用adam算法

x = tf.placeholder(tf.float32, [None, 784])

W = tf.Variable(tf.zeros([784, 10]))

b = tf.Variable(tf.zeros([10]))

y = tf.matmul(x, W) + b

y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean( ????????tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y)) train_step = ????????tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy) sess = tf.InteractiveSession() tf.global_variables_initializer().run() # Train for _ in range(1000):

????????batch_xs, batch_ys = mnist.train.next_batch(100)

????????_,cost = sess.run([train_step,cross_entropy], feed_dict={x: ????????????????batch_xs, y_: batch_ys})

? ? ? ? ?print(cost)

輸出為:

2.30259

1.96883

1.76687

1.39246

1.22997

1.19243

1.08657

1.12234

1.30965

0.833457

0.963737

0.767362

0.763479

0.75128

0.709319

使用adam算法:

tf.train.AdamOptimizer(0.5).minimize(cross_entropy)

輸出為:

2.30259

16.8401

17.2679

16.3104

14.2131

16.3672

18.8276

11.4264

15.4074

8.97122

3.11424

5.39649

5.58269

7.20344

7.48695

11.5576

8.18053

4.38636

8.00477

3.82183

10.1561

4.68156

5.63022

3.41254

6.28483

需要在之后思考解答?

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 簡單線性回歸 import tensorflow as tf import numpy # 創(chuàng)造數(shù)據(jù) x_dat...
    CAICAI0閱讀 3,668評論 0 49
  • 自編碼器和多層感知機(jī) 整個神經(jīng)網(wǎng)絡(luò)的流程: 定義算法公式,也就是神經(jīng)網(wǎng)絡(luò)的forward時的計(jì)算定義loss,選定...
    阿面a閱讀 2,521評論 0 4
  • 如果,女兒是爸爸前世的情人,那么,兒子就是爸爸今世的敵人; 如果,兒子是媽媽前世的情人,那么,女兒就是媽媽今世的敵...
    朱智林閱讀 374評論 2 0
  • 起程回京,每次回京的路,都是自己最不愿意獨(dú)自走的路!和親人的離別,是自己最不能承受的痛!再加上和皇上的關(guān)系,總讓自...
    二的平方閱讀 508評論 0 51
  • 張宇軒 “鵝,鵝,鵝,曲項(xiàng)向天歌......”這首詩是出自唐代詩人駱賓王寫的<<詠鵝>>。是的,鵝 是一種純潔無瑕...
    空中飛翔的燕子閱讀 360評論 0 1

友情鏈接更多精彩內(nèi)容