Module的必要性：訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)包括以下幾個(gè)步驟：
將數(shù)據(jù)送進(jìn)網(wǎng)絡(luò)，初始化模型參數(shù)，網(wǎng)絡(luò)前向和反向傳播，根據(jù)計(jì)算的梯度更新權(quán)重，設(shè)置模型的check points,需要經(jīng)常重復(fù)這些步驟，MXNET框架將將常用的操作模塊化成了module package。Module提供了高級(jí)和中級(jí)的接口來完成這些predefined網(wǎng)絡(luò)。
- creating a Module
常用的module類是Module，我們通過規(guī)定以下參數(shù)來創(chuàng)建一個(gè)module
- symbol：網(wǎng)路定義
- context：執(zhí)行網(wǎng)絡(luò)的設(shè)備
- data_names: 輸入數(shù)據(jù)變量名稱的列表
- label_names：輸入數(shù)據(jù)標(biāo)簽名稱的列表
mod = mx.mod.Module(symbol=net,context=mx.gpu,data_names=['data'],
label_names=['softmax_label'])
- 中級(jí)接口
我們已經(jīng)創(chuàng)建了一個(gè)module，現(xiàn)在使用module的中級(jí)API來training網(wǎng)絡(luò)。這些APIs使開發(fā)者們能夠很靈活的使用前向和反向傳播。
為了訓(xùn)練一個(gè)module，我們需要執(zhí)行以下步驟：
- bind：通過分配內(nèi)存準(zhǔn)備計(jì)算環(huán)境
- init_params：初始化參數(shù)
- init_optimizer：初始化優(yōu)化器，默認(rèn)是sgd
- metric.create：創(chuàng)建評(píng)估標(biāo)準(zhǔn)
- forward: 前向計(jì)算
- update_metric：evaluates and accumulates evaluation metric on outputs of the last forward computation
- backward：反向計(jì)算
- update：根據(jù)反向傳播的計(jì)算參數(shù)更新權(quán)重
#allocate memory given the input data and label shapes
mod.bind(data_shapes=train_iter.provide_data, label_shapes=train_iter.provide_label)
mod.init_params(initializer=mx.init.Uniform(scale=.1))
mod.init_optimizer(optimizer='sgd',optimizer_param=(('learning_rate',0.1),))
metric = mx.metric.create('acc')
#train 5 epochs
for epoch in range(5):
train_iter.reset()
metric.reset()
for batch in train_iter:
mod.forward(batch,is_train=True)
mod.update_metric(metric,batch.label)
mod.backward()
mod.update()
print('Epoch %d', Training %s' % (epoch, metric.get()))
- 高級(jí)接口
mxnet有高級(jí)API，直接調(diào)用fit API就可以執(zhí)行以上步驟：
train_iter.reset()
#create a module
mod = mx.mod.Module(symbol=net,context=mx.gpu(0),data_names=['data'],label_names=['softmax_label'])
#fit the module
mod.fit(train_iter，eval_data=val_data,optimizer='sgd',optimizer_params={'learning_rate':0.1},eval_metric='acc',num_epoch=5)
- 預(yù)測(cè)和評(píng)估（predict and evaluate）
預(yù)估m(xù)odule,調(diào)用predict()函數(shù)：
y = mod.predict(val_iter)
assert y.shape == (4000,26)
如果不需要預(yù)測(cè)output，只需要評(píng)估一個(gè)test set,可以調(diào)用score()函數(shù)。在輸入的驗(yàn)證集上進(jìn)行預(yù)測(cè)，然后根據(jù)給定的input metric評(píng)估性能
score = mod.score(val_iter,['acc']
print("Accuracy score is %f" % (score[0][1]))
其他一些使用標(biāo)準(zhǔn)比如：top_k_acc(top-k-accuracy),F1, RMSE, MSE,MAE, ce(CrossEntropy)
- 保存和加載(save and load)
可以使用checkpoint callback來保存每個(gè)訓(xùn)練epoch的模型參數(shù)
#construct a callback function to save checkpoints
module_prefix = 'mx_mlp'
checkpoint = mx.callback.do_checkpoint(module_prefix)
mod = mx.mod.Module(symbol=net)
mod.fit(train_net,num_epoch=5,epoch_end_callback=checkpoint)
要加載已保存的模型，調(diào)用load_checkpoint函數(shù)。然后將加載的參數(shù)設(shè)置進(jìn)網(wǎng)絡(luò)
sym, arg_params, aux_params=mx.model.load_checkpoint(model_prefix,3)
assert sym.tojson()==net.tojson()
#assign the loaded parameters to the module
mod.set_param(arg_params,aux_params)
如果我們只想從一個(gè)已經(jīng)保存的checkpoint開始訓(xùn)練，而不是從頭開始訓(xùn)練，就不需要調(diào)用set_params()，可以直接調(diào)用fit(),fit()可以從指定的epoch初始化（通過設(shè)置begin_epoch），而不是隨機(jī)初始化。
mod = mx.mod.Module(symbol=sym)
mod.fit(train_iter,num_epoch=8,arg_params=arg_params,aux_params=aux_params,begin_epoch=3)
