5.3 - 循環(huán)迭代訓(xùn)練，更新參數(shù)

循環(huán)迭代過(guò)程是神經(jīng)網(wǎng)絡(luò)中最核心的部分，這一步包含四項(xiàng)內(nèi)容：前向傳播、計(jì)算損失、后向傳播、參數(shù)更新。

5.3.1 - 執(zhí)行前向傳播（forward propagation）

前向傳播分為兩個(gè)步驟：linear forward和activation forward。

對(duì)于單個(gè)樣本 $x^{(i)}$， 其前向傳播過(guò)程的相關(guān)計(jì)算如下:

對(duì)于全部樣本的計(jì)算，在Python中實(shí)現(xiàn)時(shí)采用向量化的計(jì)算方法，即將所有輸入樣本堆疊成一個(gè)輸入矩陣，然后再分別執(zhí)行每一層的 linear forward 和 activation forward。

Note：每一層 activation forward 過(guò)程中使用的激活函數(shù)可以不一樣，通常隱含層使用tanh，輸出層使用sigmoid。

5.3.2 - 計(jì)算損失（loss）

得到所有樣本的預(yù)測(cè)值后，使用以下公式計(jì)算損失Loss（又稱“訓(xùn)練成本 cost”）：

5.3.3 - 執(zhí)行后向傳播（backward propagation），得到所有參數(shù)的梯度（gradients）

后向傳播過(guò)程與前向傳播過(guò)程的計(jì)算路線相反，先計(jì)算輸出層（第2層）相關(guān)參數(shù)的梯度，然后計(jì)算隱含層（第1層）相關(guān)參數(shù)的梯度，其計(jì)算公式如下圖：

圖中，棕色色塊覆蓋的部分表示單個(gè)樣本的后向傳播計(jì)算過(guò)程；綠色色塊覆蓋的是所有樣本的堆疊在一起之后的后向傳播向量化計(jì)算過(guò)程，也就是python實(shí)現(xiàn)后向傳播過(guò)程所參照的計(jì)算公式。

5.3.4 - 使用梯度下降法（gradient descent）更新參數(shù)

gradient descent參數(shù)更新規(guī)則:
$$ \theta = \theta - \alpha \frac{\partial J }{ \partial \theta }$$
其中：$\alpha$ 是學(xué)習(xí)率（learning rate）；$\theta$ 是需要更新的參數(shù)

學(xué)習(xí)率（learning rate）大小的設(shè)定對(duì)梯度下降法有著顯著的影響，下面有兩張動(dòng)圖（Adam Harley制作的）可以展示學(xué)習(xí)率設(shè)定好壞對(duì)梯度下降過(guò)程的影響：

好的學(xué)習(xí)率（learning rate）大小，隨著訓(xùn)練的進(jìn)行，逐步逼近函數(shù)最小值：

差的學(xué)習(xí)率（learning rate）大小，訓(xùn)練開始不久，就在最小值附近跳動(dòng)，難以收斂：

6 - TensorFlow中單隱層神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

使用ng在本周編程作業(yè)中提供的數(shù)據(jù)生成方法生成數(shù)據(jù)，在TensorFlow中實(shí)現(xiàn)單隱層神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，實(shí)現(xiàn)代碼如下：

# planar數(shù)據(jù)集生成

import numpy as np

def load_planar_dataset():
    np.random.seed(1)
    m = 400        # number of examples
    N = int(m/2)   # number of points per class
    D = 2 # dimensionality
    X = np.zeros((m,D), dtype='float32') # data matrix where each row is a single example
    Y = np.zeros((m,1), dtype='uint8')   # labels vector (0 for red, 1 for blue)
    a = 4          # maximum ray of the flower

    for j in range(2):
        ix = range(N*j,N*(j+1))
        t = np.linspace(j*3.12,(j+1)*3.12,N) + np.random.randn(N)*0.2 # theta
        r = a*np.sin(4*t) + np.random.randn(N)*0.2 # radius
        X[ix] = np.c_[r*np.sin(t), r*np.cos(t)]
        Y[ix] = j
        
    X = X.T
    Y = Y.T

    return X, Y

import tensorflow as tf

# 加載數(shù)據(jù)
X, Y = load_planar_dataset()

# 定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
n_x, n_h, n_y = X.shape[0], 4, Y.shape[0]
m = X.shape[1]

# 參數(shù)初始化
W1 = tf.Variable(tf.random_normal([n_h, n_x], stddev=1, seed=1))
b1 = tf.Variable(tf.zeros([n_h, 1]))
W2 = tf.Variable(tf.random_normal([n_y, n_h], stddev=1, seed=1))
b2 = tf.Variable(tf.zeros([n_y, 1]))

# 數(shù)據(jù)輸入
x = tf.placeholder(tf.float32, shape=(n_x, None), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(n_y, None), name='y-input')

# 前向傳播
z1 = tf.matmul(W1, x) + b1
a1 = tf.nn.tanh(z1)
z2 = tf.matmul(W2, a1) + b2
a2 = tf.nn.sigmoid(z2)

# 成本函數(shù) & 訓(xùn)練圖
cost = - tf.reduce_sum(tf.add(tf.multiply(y_ , tf.log(a2)), tf.multiply(1-y_ ,tf.log(1-a2)))) / m
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(cost)  # 0.1 為 learning_rate
# train_step = tf.train.AdamOptimizer(0.001).minimize(cost)


# 創(chuàng)建 Session，運(yùn)行
with tf.Session() as sess:
    
    # 全局參數(shù)初始化
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    
    # 訓(xùn)練模型
    num_iterations = 10000
    for i in range(num_iterations):
        sess.run(train_step, feed_dict={x: X, y_: Y})
        if i % 1000 == 0:
            total_cost = sess.run(cost, feed_dict={x: X, y_: Y})
            print ("Cost after iteration %i: %f" %(i, total_cost))
            
# 啟用TensorBoard
import os

if not os.path.exists('log'):
    os.mkdir('log')
logdir = os.path.join(os.getcwd(), 'log') # 將日志寫到當(dāng)前工作目錄下的log文件夾
print('請(qǐng)復(fù)制以下代碼到cmd，執(zhí)行，啟動(dòng)tensorboard：\n', 'tensorboard --logdir=' + logdir)

writer = tf.summary.FileWriter(logdir, tf.get_default_graph())
writer.close()

Cost after iteration 0: 0.714734
Cost after iteration 1000: 0.336571
Cost after iteration 2000: 0.318074
Cost after iteration 3000: 0.309604
Cost after iteration 4000: 0.304108
Cost after iteration 5000: 0.299986
Cost after iteration 6000: 0.296653
Cost after iteration 7000: 0.293828
Cost after iteration 8000: 0.291358
Cost after iteration 9000: 0.289151
請(qǐng)復(fù)制以下代碼到cmd，執(zhí)行，啟動(dòng)tensorboard： tensorboard --logdir=C:\Users\Mike\Documents\Blog\notes_deeplearning.ai\log

參考資料

Deep Learning - Adaptive Computation and Machine Learning series by Ian Goodfellow (Author), Yoshua Bengio (Author), Aaron Courville (Author)

吳恩達(dá)Coursera Deep Learning學(xué)習(xí)筆記 1 （下）

https://en.wikipedia.org/wiki/Sigmoid_function

https://en.wikipedia.org/wiki/Hyperbolic_function

https://en.wikipedia.org/wiki/Rectifier_(neural_networks)