工程構(gòu)建

• 導(dǎo)入sklearn相關(guān)包

import numpy as np
rom sklearn.neural_network import MLPClassifier 

• 定義readDataSet(fileName, isTest)函數(shù),用于加載訓(xùn)練數(shù)據(jù),返回特征數(shù)據(jù)(dataSet)和標(biāo)簽(label)

# fileName: 文件名字
# isTest: =True為測(cè)試數(shù)據(jù)時(shí),只有54列,label直接設(shè)0
def readDataSet(fileName, isTest):
    fr = open(fileName,encoding='utf-8')
    lines = fr.readlines()

    numLabels = len(lines) 
    labels = np.zeros(numLabels) #用于存放標(biāo)簽數(shù)據(jù)
    dateSet = np.zeros([numLabels,54],int) #用于存放特征數(shù)據(jù)

    # 逐行讀取數(shù)據(jù)到dataSet,labels
    # 總共55列,前54列是樣本特征,最后一列是樣本類別(label)
    for i in range(numLabels):
        line = lines[i]
        label = 0
        if isTest:  #True:測(cè)試集只有54列,最后標(biāo)簽直接設(shè)為0
            label = 0
        else:  # False:取最后一列為標(biāo)簽數(shù)據(jù)
            label = line.split(' ')[54]
        labels[i] = label

        dates = np.zeros(54)
        for j in range(53): # 前54列添加為特征數(shù)據(jù)
            dates[j] = line.split(' ')[j]
        dateSet[i] = dates

    fr.close()
    return dateSet,labels

添加isTest參數(shù)是為了區(qū)別訓(xùn)練集(55列)與測(cè)試集數(shù)據(jù)(54列)列數(shù)不同,便于交叉驗(yàn)證時(shí),統(tǒng)計(jì)錯(cuò)誤數(shù)量,核算正確率.

• 加載訓(xùn)練數(shù)據(jù)

train_dataSet,train_labels = readDataSet('data_train.txt', False)

• 構(gòu)建神經(jīng)網(wǎng)絡(luò)
  設(shè)置網(wǎng)絡(luò)的隱藏層數(shù)、各隱藏層神經(jīng)元個(gè)數(shù)、激活函數(shù)、學(xué)習(xí)率、優(yōu)化方法、最大迭代次數(shù)

clf = MLPClassifier(hidden_layer_sizes=(100,),
                    activation='logistic', solver='adam',
                    learning_rate_init = 0.0001, max_iter=2000)
print(clf)
clf.fit(train_dataSet,train_labels)

• 加載測(cè)試集,使用構(gòu)建好的KNN分類器對(duì)測(cè)試集進(jìn)行預(yù)測(cè)

test_dataSet,test_labels = readDataSet('data_test.txt', False)
res = clf.predict(test_dataSet)
error = 0
for i in range(len(res)):
    if res[i] != test_labels[i]:
        error += 1
print('error:',error,'正確率:',(len(res) - error) / len(res))

鄰居數(shù)量K影響對(duì)比

• 情況一：使用logistic激活函數(shù)和adam優(yōu)化方法,設(shè)初始學(xué)習(xí)率為0.0001,最大迭代次數(shù)為2000
  運(yùn)行神經(jīng)元個(gè)數(shù)為50、100、200的實(shí)驗(yàn)對(duì)比結(jié)果

隨著隱藏層神經(jīng)元個(gè)數(shù)的增加,MLP的正確率持上升趨勢(shì)

• 情況二：使用adam優(yōu)化方法,設(shè)神經(jīng)元個(gè)數(shù)為100,初始學(xué)習(xí)率為0.0001,最大迭代次數(shù)為2000
  運(yùn)行激活函數(shù)分別為logistic、identity、tanh、relu的實(shí)驗(yàn)對(duì)比結(jié)果

我們可以看出logistic的正確率最高

• 情況三：使用logistic激活函數(shù)和adam優(yōu)化方法,設(shè)神經(jīng)元個(gè)數(shù)為100,初始學(xué)習(xí)率為0.0001
  運(yùn)行最大迭代次數(shù)為500、1000、1500、2000的實(shí)驗(yàn)對(duì)比結(jié)果

當(dāng)最大迭代次數(shù)> 1500時(shí),正確率基本保持不變,這說(shuō)明MLP在第1500迭代時(shí)已經(jīng)收斂