dataset介紹：

CIFAR-10數(shù)據(jù)介紹

CIFAR-10^3是一個(gè)常用的彩色圖片數(shù)據(jù)集，它有10個(gè)類(lèi)別: 'airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck'。每張圖片都是 3×32×32 ，也即3-通道彩色圖片，分辨率為 32×32 。

下面我們來(lái)嘗試實(shí)現(xiàn)對(duì)CIFAR-10數(shù)據(jù)集的分類(lèi)，步驟如下:

1、使用torchvision加載并預(yù)處理CIFAR-10數(shù)據(jù)集

2、定義網(wǎng)絡(luò)

3、定義損失函數(shù)和優(yōu)化器

4、訓(xùn)練網(wǎng)絡(luò)并更新網(wǎng)絡(luò)參數(shù)

5、測(cè)試網(wǎng)絡(luò)

CIFAR-10數(shù)據(jù)加載及預(yù)處理

import torchvision as tv

import torchvision.transforms as transforms

from torchvision.transforms import ToPILImage

show = ToPILImage() # 可以把Tensor轉(zhuǎn)成Image，方便可視化

# 第一次運(yùn)行程序torchvision會(huì)自動(dòng)下載CIFAR-10數(shù)據(jù)集，

# 大約100M，需花費(fèi)一定的時(shí)間，

# 如果已經(jīng)下載有CIFAR-10，可通過(guò)root參數(shù)指定

# 定義對(duì)數(shù)據(jù)的預(yù)處理

transform = transforms.Compose([

        transforms.ToTensor(), # 轉(zhuǎn)為T(mén)ensor

        transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), # 歸一化

                            ])

# 訓(xùn)練集

trainset = tv.datasets.CIFAR10(

                    root='/home/自己數(shù)據(jù)集的地址',

                    train=True,

                    download=True,

                    transform=transform)

trainloader = t.utils.data.DataLoader(

                    trainset,

                    batch_size=4,

                    shuffle=True,

                    num_workers=2)

# 測(cè)試集

testset = tv.datasets.CIFAR10(

                    '/home/自己數(shù)據(jù)集的地址',

                    train=False,

                    download=True,

                    transform=transform)

testloader = t.utils.data.DataLoader(

                    testset,

                    batch_size=4,

                    shuffle=False,

                    num_workers=2)

classes = ('plane', 'car', 'bird', 'cat',

          'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

定義網(wǎng)絡(luò)

拷貝上面的LeNet網(wǎng)絡(luò)，修改self.conv1第一個(gè)參數(shù)為3通道，因CIFAR-10是3通道彩圖。

import torch.nn as nn

import torch.nn.functional as F

class Net(nn.Module):

    def __init__(self):

        super(Net, self).__init__()

        self.conv1 = nn.Conv2d(3, 6, 5)

        self.conv2 = nn.Conv2d(6, 16, 5) 

        self.fc1  = nn.Linear(16*5*5, 120) 

        self.fc2  = nn.Linear(120, 84)

        self.fc3  = nn.Linear(84, 10)

    def forward(self, x):

        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))

        x = F.max_pool2d(F.relu(self.conv2(x)), 2)

        x = x.view(x.size()[0], -1)

        x = F.relu(self.fc1(x))

        x = F.relu(self.fc2(x))

        x = self.fc3(x)       

        return x

net = Net()

print(net)

上邊我們定義的網(wǎng)絡(luò)結(jié)果

image

定義損失函數(shù)和優(yōu)化器(loss和optimizer）

from torch import optim

criterion = nn.CrossEntropyLoss() # 交叉熵?fù)p失函數(shù)

optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

訓(xùn)練網(wǎng)絡(luò)

所有網(wǎng)絡(luò)的訓(xùn)練流程都是類(lèi)似的，不斷地執(zhí)行如下流程：

輸入數(shù)據(jù)

前向傳播+反向傳播

更新參數(shù)

t.set_num_threads(8)

for epoch in range(4): 

    running_loss = 0.0

    for i, data in enumerate(trainloader, 0):

        # 輸入數(shù)據(jù)

        inputs, labels = data

        inputs, labels = Variable(inputs), Variable(labels)

        # 梯度清零

        optimizer.zero_grad()

        # forward + backward

        outputs = net(inputs)

        loss = criterion(outputs, labels)

        loss.backward() 

        # 更新參數(shù)

        optimizer.step()

        # 打印log信息

        running_loss += loss.item()

        if i % 2000 == 1999: # 每2000個(gè)batch打印一下訓(xùn)練狀態(tài)

            print('[%d, %5d] loss: %.3f' \

                  % (epoch+1, i+1, running_loss / 2000))

            running_loss = 0.0

print('Finished Training')

image

image

以上結(jié)果對(duì)比，我們可以看到增加迭代的輪數(shù)是有利于網(wǎng)絡(luò)的訓(xùn)練，直到loss值趨于一個(gè)平緩的值，訓(xùn)練完成。

來(lái)看看網(wǎng)絡(luò)有沒(méi)有效果。將測(cè)試圖片輸入到網(wǎng)絡(luò)中，計(jì)算它的label，然后與實(shí)際的label進(jìn)行比較。

dataiter = iter(testloader)

images, labels = dataiter.next() # 一個(gè)batch返回4張圖片

print('實(shí)際的label: ', ' '.join(\

            '%08s'%classes[labels[j]] for j in range(4)))

show(tv.utils.make_grid(images / 2 - 0.5)).resize((400,100))

image

接著計(jì)算網(wǎng)絡(luò)預(yù)測(cè)的label：

# 計(jì)算圖片在每個(gè)類(lèi)別上的分?jǐn)?shù)

outputs = net(Variable(images))

# 得分最高的那個(gè)類(lèi)

_, predicted = t.max(outputs.data, 1)

print('預(yù)測(cè)結(jié)果: ', ' '.join('%5s'\

            % classes[predicted[j]] for j in range(4)))···

預(yù)測(cè)結(jié)果: cat ship ship ship

已經(jīng)可以看出效果，準(zhǔn)確率50%，但這只是一部分的圖片，再來(lái)看看在整個(gè)測(cè)試集上的效果。

···correct = 0 # 預(yù)測(cè)正確的圖片數(shù)

total = 0 # 總共的圖片數(shù)

for data in testloader:

    images, labels = data

    outputs = net(Variable(images))

    _, predicted = t.max(outputs.data, 1)

    total += labels.size(0)

    correct += (predicted == labels).sum()

print('10000張測(cè)試集中的準(zhǔn)確率為: %d %%' % (100 * correct / total))

預(yù)測(cè)結(jié)果:'cat car car plane'

已經(jīng)可以看出效果，準(zhǔn)確率50%，但這只是一部分的圖片，再來(lái)看看在整個(gè)測(cè)試集上的效果

correct = 0 # 預(yù)測(cè)正確的圖片數(shù)

total = 0 # 總共的圖片數(shù)

for data in testloader:

    images, labels = data

    outputs = net(Variable(images))

    _, predicted = t.max(outputs.data, 1)

    total += labels.size(0)

    correct += (predicted == labels).sum()

print('10000張測(cè)試集中的準(zhǔn)確率為: %d %%' % (100 * correct / total))

image

訓(xùn)練的準(zhǔn)確率遠(yuǎn)比隨機(jī)猜測(cè)(準(zhǔn)確率10%)要好很多，所以該網(wǎng)絡(luò)還是學(xué)到了一些東西。

參考書(shū)籍：深度學(xué)習(xí)框架 pytorch入門(mén)與實(shí)踐 陳云