一、背景

在程序?qū)懲曛?，我們發(fā)現(xiàn)，在程序中能夠改變的值主要有以下幾個(gè)：隱藏層層數(shù)，訓(xùn)練次數(shù)，學(xué)習(xí)率，權(quán)重次方。

在原來的程序中，我們的數(shù)據(jù)分別是：隱藏層層數(shù)：300，訓(xùn)練次數(shù)：5，學(xué)習(xí)率：0.1，權(quán)重次方，-0.5

得出來的準(zhǔn)確率只有：54.5%

二、調(diào)試

因?yàn)槌跏紨?shù)值準(zhǔn)確率不高，所以，就到了關(guān)鍵的一步：不斷測試并改變閾值，以提高準(zhǔn)確率。

實(shí)驗(yàn)一：

首先我用的是每個(gè)參數(shù)都選擇其能達(dá)到的最優(yōu)準(zhǔn)確率，看能否組合起來，最終形成一個(gè)總體最優(yōu)準(zhǔn)確率。

在權(quán)重次方、隱藏層層數(shù)、訓(xùn)練次數(shù)不變的前提下，在學(xué)習(xí)率區(qū)間為0.000088到0.001的條件下，準(zhǔn)確率的總體趨勢隨著學(xué)習(xí)率的增大，先變大，后變小。

其準(zhǔn)確率最大值為0.818，學(xué)習(xí)率為0.000088。

在權(quán)重次方、訓(xùn)練次數(shù)、學(xué)習(xí)率不變的前提下，在隱藏層數(shù)區(qū)間為200到350的條件下，準(zhǔn)確率的總體趨勢隨著隱藏層數(shù)的增大，先變大，后變小。

其準(zhǔn)確率最大值為0.818，隱藏層數(shù)為300/320.

在權(quán)重次方、隱藏層數(shù)、學(xué)習(xí)率不變的前提下，在訓(xùn)練次數(shù)區(qū)間為3到11的條件下，準(zhǔn)確率的總體趨勢隨著訓(xùn)練次數(shù)的增大，先變小，后變大。

其準(zhǔn)確率最大值為0.818，訓(xùn)練次數(shù)數(shù)為10.

在隱藏層數(shù)、學(xué)習(xí)率、訓(xùn)練次數(shù)不變的前提下，在權(quán)重次方區(qū)間為-0.8到-0.1的條件下，準(zhǔn)確率的總體趨勢隨著權(quán)重的增大，先變大，后變小。

其準(zhǔn)確率最大值為0.818，權(quán)重次方為-0.5.

實(shí)驗(yàn)二

在全部數(shù)據(jù)調(diào)試了一遍后，發(fā)現(xiàn)準(zhǔn)確率不見上升，于是決定運(yùn)用單一變量法，再進(jìn)行調(diào)試：

初始值：權(quán)重次方為-0.5，訓(xùn)練次數(shù)為5，隱藏層數(shù)為300，學(xué)習(xí)率為0.5。

但發(fā)現(xiàn)，準(zhǔn)確率仍無法上提。

實(shí)驗(yàn)三

根據(jù)實(shí)驗(yàn)一、二的啟示，發(fā)現(xiàn)準(zhǔn)確率一直處于0.818提不上去，經(jīng)過研究，認(rèn)為是由于訓(xùn)練集過少（89個(gè)），而測試集又僅有11個(gè)，數(shù)據(jù)過少，以致于無法達(dá)到理想狀態(tài)。

于是，將訓(xùn)練集和測試集都提升到100個(gè)。

1.學(xué)習(xí)率：0.0005

2.學(xué)習(xí)率：0.005

經(jīng)過調(diào)試發(fā)現(xiàn)，增多了數(shù)據(jù)集，可以在一定程度上提高準(zhǔn)確率，達(dá)到了87%左右，但仍不夠高。

實(shí)驗(yàn)四

為了使準(zhǔn)確率能達(dá)到95%以上，最終從網(wǎng)上找了個(gè)10000的測試集，60000個(gè)訓(xùn)練集的數(shù)據(jù)集，再進(jìn)行嘗試。

最終，準(zhǔn)確率達(dá)到了97%以上。

Q：為什么會(huì)有空格？

A：因?yàn)榕芤淮纬绦蛩璧臅r(shí)間較長，而我們的目標(biāo)是準(zhǔn)確率達(dá)到95%以上，而前面的一些結(jié)果，在經(jīng)過多次調(diào)試后，仍然跟我們的預(yù)想相差甚遠(yuǎn)（只有85%左右）。于是乎決定放棄一些結(jié)果，直接選擇更多的訓(xùn)練集來訓(xùn)練出準(zhǔn)確率更高的程序。