0.完整代碼

下面一段代碼實現(xiàn)了2個功能：
1.用keras庫編程實現(xiàn)擬合線性方程的回歸模型；
2.對比了4種優(yōu)化器的性能。
解釋每一行代碼的作用：
第1行代碼從keras.models庫中導(dǎo)入Sequential類；
第2行代碼從keras.layers庫中導(dǎo)入Dense類；
第3行代碼從keras庫中導(dǎo)入optimizers庫；
第4行代碼導(dǎo)入numpy庫，起別名np；
第6行代碼是python中定義主函數(shù)的固定格式；
第7行代碼定義變量w，即線性方程中的斜率；
第8行代碼定義變量b，即線性方程中的縱截距；
第9行代碼調(diào)用np.linspace方法定義2-100中間的50個點(diǎn)，賦值給變量X；
第10行代碼利用ndarray對象的廣播性質(zhì)，對矩陣的每個值乘以w，再加上b；
第11行代碼打印變量X中的前5個數(shù)；
第12行代碼打印變量Y中的前5個數(shù)；
第13行代碼調(diào)用optimizers.Adam類初始化方法，實例化對象賦值給變量adam；
第14行代碼調(diào)用optimizers.SGD類初始化方法，實例化對象賦值給變量sgd；
第15行代碼調(diào)用optimizers.Adagrad類初始化方法，實例化對象賦值給變量adagrad；
第16行代碼調(diào)用optimizers.Adadelta類初始化方法，實例化對象賦值給變量adadelta；
第17行代碼將4種優(yōu)化器整合到列表optimizer_list中；
第18行代碼將4種輪次整合到列表epochs_list中，epochs中文叫做輪次；
第19-20行代碼是一個2重循環(huán)，對4種輪次、4種優(yōu)化器組合循環(huán)。
第21行代碼調(diào)用Sequential類初始化方法，實例化對象賦值給變量model；
第22行代碼調(diào)用變量model的add方法，添加全連接層，全連接層輸入input_dim為1，輸出units為1；
第23行代碼調(diào)用變量model的compile方法，方法需要2個參數(shù)，第1個關(guān)鍵字參數(shù)loss的數(shù)據(jù)類型為字符串，第2個關(guān)鍵字參數(shù)optimizer的數(shù)據(jù)類型為優(yōu)化器對象；
第24行代碼調(diào)用變量model的fit方法，開啟模型訓(xùn)練，fit方法需要5個參數(shù)，第1個參數(shù)是特征矩陣X，第2個參數(shù)是預(yù)測目標(biāo)值Y，第3個關(guān)鍵字參數(shù)steps_per_epoch是每輪訓(xùn)練步數(shù)，第4個關(guān)鍵字參數(shù)epochs是訓(xùn)練輪次，第5個關(guān)鍵字參數(shù)verbose為是否打印訓(xùn)練過程的信息；
第25行代碼獲取已經(jīng)訓(xùn)練好模型的w值，賦值給變量trained_w；
第26行代碼獲取已經(jīng)訓(xùn)練好模型的b值，賦值給變量trained_b；
第27行代碼調(diào)用絕對值方法abs，計算w值誤差，賦值給變量w_error；
第28行代碼調(diào)用絕對值方法abs，計算b值誤差，賦值給變量b_error；
第29-30行代碼打印提示信息。

from keras.models import Sequential
from keras.layers import Dense
from keras import optimizers
import numpy as np

if __name__ == '__main__':
    w = 2.5
    b = 1.5
    X = np.linspace(2, 100, 50)
    Y = X * w + b
    print('X[:5]:', X[:5])
    print('Y[:5]:', Y[:5])
    adam = optimizers.Adam(lr=0.02)
    sgd = optimizers.SGD(lr=0.0002)
    adagrad = optimizers.Adagrad(lr=0.3)
    adadelta = optimizers.Adadelta(lr=0.3)
    optimizer_list = [adam, sgd, adagrad, adadelta]
    epochs_list = [100, 200, 500, 1000]
    for epochs in epochs_list:
        for optimizer in optimizer_list:
            model = Sequential()
            model.add(Dense(input_dim=1, units=1))
            model.compile(loss='mse', optimizer=optimizer)
            model.fit(X, Y, steps_per_epoch=10, epochs=epochs, verbose=False)
            trained_w = model.layers[0].get_weights()[0][0][0]
            trained_b = model.layers[0].get_weights()[1][0]
            w_error = abs(trained_w - w)
            b_error = abs(trained_b - b)
            print('epochs:%d, 優(yōu)化器種類:%s,\t w誤差:%.4f, b誤差:%.4f'
                  %(epochs, optimizer.__class__, w_error, b_error))

上面一段代碼的運(yùn)行結(jié)果如下：

X[:5]: [ 2. 4. 6. 8. 10.]
Y[:5]: [ 6.5 11.5 16.5 21.5 26.5]
epochs:100, 優(yōu)化器種類:<class 'keras.optimizers.Adam'>, w誤差:0.0083, b誤差:0.5539
epochs:100, 優(yōu)化器種類:<class 'keras.optimizers.SGD'>, w誤差:0.0195, b誤差:1.3155
epochs:100, 優(yōu)化器種類:<class 'keras.optimizers.Adagrad'>, w誤差:0.0297, b誤差:1.9919
epochs:100, 優(yōu)化器種類:<class 'keras.optimizers.Adadelta'>, w誤差:0.4450, b誤差:0.9875
epochs:200, 優(yōu)化器種類:<class 'keras.optimizers.Adam'>, w誤差:0.0032, b誤差:0.2133
epochs:200, 優(yōu)化器種類:<class 'keras.optimizers.SGD'>, w誤差:0.0181, b誤差:1.2160
epochs:200, 優(yōu)化器種類:<class 'keras.optimizers.Adagrad'>, w誤差:0.0046, b誤差:0.3051
epochs:200, 優(yōu)化器種類:<class 'keras.optimizers.Adadelta'>, w誤差:0.3739, b誤差:0.3786
epochs:500, 優(yōu)化器種類:<class 'keras.optimizers.Adam'>, w誤差:0.0000, b誤差:0.0000
epochs:500, 優(yōu)化器種類:<class 'keras.optimizers.SGD'>, w誤差:0.0135, b誤差:0.9093
epochs:500, 優(yōu)化器種類:<class 'keras.optimizers.Adagrad'>, w誤差:0.0050, b誤差:0.3327
epochs:500, 優(yōu)化器種類:<class 'keras.optimizers.Adadelta'>, w誤差:0.0027, b誤差:0.0172
epochs:1000, 優(yōu)化器種類:<class 'keras.optimizers.Adam'>, w誤差:0.0000, b誤差:0.0000
epochs:1000, 優(yōu)化器種類:<class 'keras.optimizers.SGD'>, w誤差:0.0083, b誤差:0.5563
epochs:1000, 優(yōu)化器種類:<class 'keras.optimizers.Adagrad'>, w誤差:0.0141, b誤差:0.9425
epochs:1000, 優(yōu)化器種類:<class 'keras.optimizers.Adadelta'>, w誤差:0.0101, b誤差:0.4870

從上面的運(yùn)行結(jié)果可以看出：
在epochs為100時，Adam優(yōu)化器效果最優(yōu)，SGD優(yōu)化器次優(yōu)；
在epochs為200時，Adam優(yōu)化器效果最優(yōu)，Adagrad優(yōu)化器次優(yōu)；
在epochs為500時，Adam優(yōu)化器效果最優(yōu)，Adadelta優(yōu)化器次優(yōu)；
在epochs為1000時，Adam優(yōu)化器效果最優(yōu)。

1.結(jié)論

對于線性方程的回歸模型，使用Adam優(yōu)化器能夠得到不錯的擬合效果。