數(shù)據(jù)和方法

今天依舊使用MNIST手寫數(shù)字，方法也是MLP方法，這次我們讓隱含層為1000個(gè)神經(jīng)元。

數(shù)據(jù)處理

處理還是和上次一樣。

• 圖片是28X28，我們要轉(zhuǎn)換為一維的，這樣才可以作為我們的輸入層。
• 圖片標(biāo)準(zhǔn)化
• label值換為one-hot編碼，做為輸出層。

代碼：

X_train = X_train.reshape(60000,784).astype('float32')
X_test = X_test.reshape(10000,784).astype('float32')

X_train = X_train/255
X_test = X_test/255

y_train = np_utils.to_categorical(y_train)
y_test = np_utils.to_categorical(y_test)

MLP建模

建立模型

這次我們?cè)谥虚g加入的為1000個(gè)神經(jīng)元，我們只需要簡(jiǎn)單修改下代碼即可。

from keras.models import Sequential
from keras.layers import Dense

model = Sequential()
model.add(Dense(units=1000, 
                input_dim=784, 
                kernel_initializer='normal', 
                activation='relu'))
model.add(Dense(units=10, 
                kernel_initializer='normal', 
                activation='softmax'))

模型訓(xùn)練

model.compile(loss='categorical_crossentropy', 
              optimizer='adam', metrics=['accuracy'])

train_history = model.fit(x=X_train,
                         y=y_train,validation_split=0.2, 
                         epochs=10, batch_size=200,verbose=2)

這里我們將結(jié)果可視化，發(fā)現(xiàn)訓(xùn)練集精度高，而測(cè)試集的精度上升卻很慢，這是典型的過(guò)擬合，所以接下來(lái)用dropout方法，防止一定的過(guò)擬合。

dropout防止過(guò)擬合

這里我們只需要在隱含層后面add一個(gè)Dropout即可。結(jié)果看出，過(guò)擬合得到很大的改正，而且精度也提高了不少。

from keras.models import Sequential
from keras.layers import Dense

model = Sequential()
model.add(Dense(units=1000, 
                input_dim=784, 
                kernel_initializer='normal', 
                activation='relu'))

model.add(Dropout(0.5))  ###加入dropout

model.add(Dense(units=10, 
                kernel_initializer='normal', 
                activation='softmax'))