學(xué)習(xí)一個(gè)工具最好的方法就是去使用它。在學(xué)習(xí)「深度學(xué)習(xí)」的路上，你需要選擇一個(gè)用來(lái)搭建神經(jīng)網(wǎng)絡(luò)的框架，常見(jiàn)的框架包括 Tensorflow，Caffe，Pytorch 等， 其中最推薦的是 Pytorch，尤其是對(duì)于新手，Pytorch 入門(mén)快，易上手，代碼非常 pythonic。不論你是自己做 demo 還是做產(chǎn)品級(jí)的應(yīng)用，Pytorch 都能勝任，實(shí)在是居家旅行必備。

環(huán)境搭建

首先需要搭建軟硬件環(huán)境，如果有 GPU 的話那最好，沒(méi)有的話也沒(méi)關(guān)系，跑 demo 還是可以的。如果數(shù)據(jù)集大的話還是需要 GPU 做支持，GPU 的訓(xùn)練速度是 CPU 的 10 倍以上。操作系統(tǒng)推薦 Linux，我由于工作需要已經(jīng)把之前的 Linux 換成了 Windows，就主要介紹 Windows。環(huán)境搭建的大致步驟如下，如果碰到問(wèn)題歡迎在下方留言討論。

• 安裝 python，推薦 python3，本人安裝的是 3.7，直接去官網(wǎng)下載 exe 安裝即可，要注意的是安裝過(guò)程中需要勾選 “將其添加到環(huán)境變量” 選項(xiàng)，這樣就可以直接在命令行輸入 python 進(jìn)入 python 提示符界面了。
  
  python安裝驗(yàn)證
• 如果有 GPU 的話需要安裝 GPU 對(duì)應(yīng)的驅(qū)動(dòng)以及 CUDA，驅(qū)動(dòng)直接官網(wǎng)找到對(duì)應(yīng)顯卡版本下載安裝，CUDA 的話直接搜索 CUDA 點(diǎn)擊進(jìn)入系統(tǒng)選擇頁(yè)面選擇自己的系統(tǒng)版本 Download，下載完成安裝一下就好了。安裝完成之后可以在 "C:\Program Files\NVIDIA Corporation\NVSMI" 路徑下面運(yùn)行一下 nvidia-smi.exe 確認(rèn)安裝成功。
  NVIDIA 官網(wǎng)驅(qū)動(dòng)下載頁(yè): https://www.nvidia.com/Download/index.aspx
  CUDA 下載頁(yè): https://developer.nvidia.com/cuda-downloads
• 安裝 pytorch 和 torchvision。在 pytorch 官網(wǎng)主頁(yè)就可以選擇需要的版本以及安裝方式，推薦直接 pip 安裝，兩行命令搞定。
  pytorch 官網(wǎng): https://pytorch.org/get-started/locally/
  
  pytorch安裝
  
  安裝完成之后在命令行里驗(yàn)證一下有沒(méi)有實(shí)際安裝成功，成功的話應(yīng)該跟我一樣：
  
  pytorch安裝完成

模型訓(xùn)練

訓(xùn)練模型中最重要的就是訓(xùn)練集的準(zhǔn)備，模型就像是一個(gè)小孩子，一開(kāi)始他啥也不知道，訓(xùn)練的過(guò)程就是在“教”他一些。要是一開(kāi)始“教”的就是錯(cuò)的，那么也不可能期望他能在考試的時(shí)候把題目答對(duì)是不是。訓(xùn)練集的準(zhǔn)備通常需要耗費(fèi)大量人力物力，所以現(xiàn)在正在往半監(jiān)督或無(wú)監(jiān)督的方向發(fā)展，這是后話。啰嗦這么多，其實(shí)我就是想強(qiáng)調(diào)訓(xùn)練集的重要性，因?yàn)橹俺赃^(guò)虧，在這里提醒一下大家。

這里我使用開(kāi)放數(shù)據(jù)集做為例子:

transform = transforms.Compose([
     transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True, num_workers=1)

valset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform)
valloader = torch.utils.data.DataLoader(valset, batch_size=64,   shuffle=False, num_workers=1)

datasets = {"train":trainset, "val":valset}
dataloaders = {"train":trainloader, "val":valloader}

torchvision 中集成了一些開(kāi)放數(shù)據(jù)集，可以直接下載。上面的代碼創(chuàng)建了訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)加載器，batch_size 表示每個(gè) batch 中圖片的數(shù)量，如果顯存小的話可以設(shè)置小一點(diǎn)如(8/16/32)，shuffle 表示是否打亂數(shù)據(jù)集，在訓(xùn)練的時(shí)候需要打亂，驗(yàn)證的時(shí)候自然不需要，num_workers 表示加載數(shù)據(jù)集的進(jìn)程數(shù)，需要注意在 Windows 上該參數(shù)只能設(shè)置為1，否則會(huì)報(bào)錯(cuò)。在 Linux 上可以設(shè)置得大一點(diǎn)加快訓(xùn)練速度。
你也可以定義自己的數(shù)據(jù)集，只需要繼承torch.utils.data.Dataset，然后實(shí)現(xiàn)一下自己的 getitem() 和 len() 就可以。下面是一個(gè)最簡(jiǎn)單的例子，你可以根據(jù)自己的需求定制:

class MyDataset(Dataset):
    def __init__(self, image_path, transform=None):
        self.image_path = image_path
        self.transform = transform

    def __len__(self):
        return 1

    def __getitem__(self, index):
        pic = Image.open(self.image_path).convert("RGB")

        if self.transform:
            pic = self.transform(pic)

        return (index, pic)

訓(xùn)練集準(zhǔn)備結(jié)束，可以開(kāi)始編寫(xiě)訓(xùn)練代碼:

model = torchvision.models.resnet18(pretrained=True)
model.fc = nn.Linear(model.fc.in_features, 10)

模型我們選用 torchvision 中集成的預(yù)訓(xùn)練好的 Resnet-18 模型，想要了解更多有關(guān) Resnet 可以看看我的另一篇 經(jīng)典分類網(wǎng)絡(luò) ResNet 論文閱讀及PYTORCH示例代碼 ，因?yàn)檫@個(gè)數(shù)據(jù)集的輸出有 10 種類型，所以最后全連接層的輸出改成了 10。

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

定義損失函數(shù)及優(yōu)化器，這里采用了 交叉熵 作為最優(yōu)化的目標(biāo)，優(yōu)化器采用 SGD，初始學(xué)習(xí)率為 0.01，動(dòng)量 0.9，這些都是比較常用的參數(shù)值。

cuda = torch.cuda.is_available()
if cuda:
    model.cuda()

best_accuracy = 0.0
start_time = time.time()
epoches = 5
for epoch in range(epoches):
    print('Epoch {}/{}'.format(epoch, epoches - 1))
    print('-' * 40)
    since_epoch = time.time()


    for phase in ["train", "val"]:
        
        if phase == "train":
            model.train()
        else:
            model.eval()

        running_loss = 0.0
        running_corrects = 0

        for data in dataloaders[phase]:

            inputs, labels = data
            
            # put data on GPU
            if cuda:
                inputs = inputs.cuda()
                labels = labels.cuda()

            # init optimizer
            optimizer.zero_grad()

            #  forward
            outputs = model(inputs)
            _, preds = torch.max(outputs.data, 1)

            # loss
            loss = criterion(outputs, labels)

            if phase == "train":
                # backward
                loss.backward()
                # update params
                optimizer.step()

            # total loss
            running_loss += loss.item() * inputs.size(0)
            # correct numbers
            running_corrects += torch.sum(preds == labels.data)


        epoch_loss = running_loss / len(datasets[phase])
        epoch_acc = float(running_corrects) / len(datasets[phase])

        time_elapsed_epoch = time.time() - since_epoch
        print('{} Loss: {:.4f} Acc: {:.4f} in {:.0f}m {:.0f}s'.format(
            phase, epoch_loss, epoch_acc, time_elapsed_epoch // 60, time_elapsed_epoch % 60))

        if phase == "val" and epoch_acc >= best_accuracy:
            best_accuracy = epoch_acc
            best_model_wts = copy.deepcopy(model.state_dict())

    time_elapsed = time.time() - start_time
    print('Training complete in {:.0f}m {:.0f}s'.format(
        time_elapsed // 60, time_elapsed % 60))

    print('Best val Acc: {:4f}'.format(best_accuracy))

model.load_state_dict(best_model_wts)

上面就是一個(gè)基本的模型訓(xùn)練的 backbone，有一些打印可以看見(jiàn)訓(xùn)練的過(guò)程，我稍微寫(xiě)了些注釋，有問(wèn)題的話歡迎留言討論?？匆幌掠?xùn)練結(jié)果:

訓(xùn)練結(jié)果

可以看到隨著訓(xùn)練的進(jìn)行，訓(xùn)練集跟測(cè)試集的準(zhǔn)確率都在逐步上升，后面在 loss 穩(wěn)定不變的時(shí)候可以嘗試降低學(xué)習(xí)率等調(diào)參方法來(lái)訓(xùn)練。

最后，除了 torchvision 中自帶的預(yù)訓(xùn)練的模型之外，另外在介紹一個(gè)庫(kù)，叫做 pretrainedmodels，里面包含了很多比較新的預(yù)訓(xùn)練好的模型，用起來(lái)也非常方便，強(qiáng)烈推薦。安裝:

pip install pretrainedmodels

使用起來(lái)一樣簡(jiǎn)單，這里以 se_ResNeXt101 為例:

model_name = "se_resnext101_32x4d"
model = pretrainedmodels.__dict__[model_name](num_classes=1000, pretrained='imagenet')
model.avg_pool = nn.AvgPool2d(int(image_size / 32), stride=1)
model.last_linear = nn.Linear(model.last_linear.in_features, your_num_classes)

首先確認(rèn)你想要用的模型，用其對(duì)應(yīng)名稱初始化該模型。需要注意的是這里不僅改變了最后一層的全連接層，為了維度匹配也改變了前面的池化層，因?yàn)檫@個(gè)模型默認(rèn)的輸入圖片大小為(448, 448)，跟這個(gè)不一樣的話就要匹配一下。pretrainedmodels 的 github地址：https://github.com/Cadene/pretrained-models.pytorch

最后，求贊求關(guān)注，歡迎關(guān)注我的微信公眾號(hào)[MachineLearning學(xué)習(xí)之路] ，深度學(xué)習(xí) & CV 方向的童鞋不要錯(cuò)過(guò)??！