（一）微調(diào) / 遷移學(xué)習(xí)

數(shù)據(jù)標(biāo)注是一個(gè)很貴的事情，我們希望在經(jīng)過大量的數(shù)據(jù)訓(xùn)練以后。我們的模型具備了一定的學(xué)習(xí)能力，在以后只需要給一點(diǎn)點(diǎn)的提示就能夠?qū)W會(huì)一個(gè)新的事物。就是遷移學(xué)習(xí)的概念，名字不一樣而已。

（1）網(wǎng)絡(luò)架構(gòu)

一個(gè)神經(jīng)網(wǎng)絡(luò)可以分為兩塊

• 特征收取將原始像素變?yōu)槟軌蚓€性分割的特征
• 線性分類器來(lái)做分類

那么微調(diào)是怎么做的呢？
有一個(gè)神經(jīng)網(wǎng)絡(luò)net，它的訓(xùn)練來(lái)自于A數(shù)據(jù)集，而我的項(xiàng)目是B數(shù)據(jù)集。我希望能夠net經(jīng)過微小的調(diào)整之后，也能夠用在B數(shù)據(jù)集上。也就是特征提取的那一部分仍起作用，只是說分類層需要重新訓(xùn)練。

訓(xùn)練：
是一個(gè)目標(biāo)數(shù)據(jù)集上的正常任務(wù)，但是用更強(qiáng)的正則化：

• 使用更小的學(xué)習(xí)率
• 使用更少的數(shù)據(jù)迭代
  如果源數(shù)據(jù)及遠(yuǎn)復(fù)雜于目標(biāo)數(shù)據(jù)集，通常微調(diào)的效果是不錯(cuò)的。

重用分類器權(quán)重：
前面說分類層需要重新訓(xùn)練，但是如果源數(shù)據(jù)集有和目標(biāo)數(shù)據(jù)集中相同的標(biāo)號(hào)，也可以把以前的分類器的對(duì)應(yīng)標(biāo)號(hào)權(quán)重拿出來(lái)做初始化，其余的隨機(jī)初始化。

固定一些層：
神經(jīng)網(wǎng)絡(luò)通常在淺層學(xué)習(xí)的都是一些比較通用的特征，而高層學(xué)習(xí)的是更加細(xì)節(jié)的特征。所以我們可以將淺層的權(quán)重固定，只訓(xùn)練高層的神經(jīng)網(wǎng)絡(luò)。這樣的話，也就意味著神經(jīng)網(wǎng)絡(luò)變小了，收斂自然也就越快了。

（2）總結(jié)

• 微調(diào)通過使用已經(jīng)訓(xùn)練好的大數(shù)據(jù)模型來(lái)初始化權(quán)重來(lái)提升精度。
• 預(yù)訓(xùn)練的質(zhì)量是很重要的。
• 微調(diào)通常速度更快，精度更高。

（二）代碼實(shí)現(xiàn)

這里用到的一個(gè)數(shù)據(jù)集是作者自己找的一個(gè)數(shù)據(jù)集，叫做熱狗集。
下載地址：http://d2l-data.s3-accelerate.amazonaws.com/hotdog.zip
下載好，之后解壓到你放數(shù)據(jù)的文件夾里

%matplotlib inline
import torch 
from torch import nn 
from d2l import torch as d2l 
import torchvision
import matplotlib.image as img
import matplotlib.pyplot as plt

train_imgs = torchvision.datasets.ImageFolder(root="../data/hotdog/train/")
test_imgs = torchvision.datasets.ImageFolder(root="../data/hotdog/test/")

# 前面1000張是熱狗，后面1000張是非熱狗
img1 = img.imread(train_imgs.imgs[0][0])
img2 = img.imread(train_imgs.imgs[1000][0])
plt.imshow(img1)
plt.show()
plt.imshow(img2)
plt.show()

hotdogs = [train_imgs[i][0] for i in range(8)]
not_hotdogs = [train_imgs[-i - 1][0] for i in range(8)]
d2l.show_images(hotdogs + not_hotdogs, 2, 8, scale=1.4)

# 我們微調(diào)的對(duì)象是ResNet18,它的源數(shù)據(jù)集是imagenet，
# 使用RGB通道的均值和標(biāo)準(zhǔn)差，以標(biāo)準(zhǔn)化每個(gè)通道。（resnet18在imagenet上也是這么做的）
normalize = torchvision.transforms.Normalize(
    mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])

train_augs = torchvision.transforms.Compose([
    torchvision.transforms.RandomResizedCrop(224), # 隨即裁剪
    torchvision.transforms.RandomHorizontalFlip(), # 隨機(jī)水平翻轉(zhuǎn)
    torchvision.transforms.ToTensor(),
    normalize])

test_augs = torchvision.transforms.Compose([
    torchvision.transforms.Resize(256), # 根據(jù)寬高按比例縮小
    torchvision.transforms.CenterCrop(224), # 居中裁剪
    torchvision.transforms.ToTensor(),
    normalize])

# 定義模型，參數(shù)pretrain就是加載模型參數(shù)
# 如果在jupyter上運(yùn)行報(bào)錯(cuò)，可以到命令行里面先下載就行了
finetune_net = torchvision.models.resnet18(pretrained=True)
# print(finetune_net)
# print(finetune_net.fc)

# 將最后一層分類層替換掉，并初始化權(quán)重
finetune_net.fc = nn.Linear(finetune_net.fc.in_features, 2)
nn.init.xavier_uniform_(finetune_net.fc.weight)

# 如果param_group=True，輸出層中的模型參數(shù)將使用十倍的學(xué)習(xí)率
# 因?yàn)榍懊嬲f過了，在特征提取層，我們希望學(xué)習(xí)率不那么大，但是分類器是全新的，所以我們需要大的learning rate進(jìn)行快速收斂
def train_fine_tuning(net, learning_rate, batch_size=128, num_epochs=5, param_group=True):
    # 獲取數(shù)據(jù)集和測(cè)試集
    train_iter = torch.utils.data.DataLoader(torchvision.datasets.ImageFolder(root="../data/hotdog/train/",transform=train_augs),batch_size=batch_size,num_workers=0,shuffle=True)
    test_iter = torch.utils.data.DataLoader(torchvision.datasets.ImageFolder(root="../data/hotdog/test/",transform=test_augs),batch_size=batch_size,num_workers=0,shuffle=True)
    # 配置參數(shù)
    devices = d2l.try_all_gpus()
    loss = nn.CrossEntropyLoss(reduction="none")
    if param_group:
        # 網(wǎng)絡(luò)微調(diào)用較小的學(xué)習(xí)率，分類器用較大的學(xué)習(xí)率
        params_1x = [param for name, param in net.named_parameters() if name not in ["fc.weight", "fc.bias"]]
        trainer = torch.optim.SGD([
                {"params":params_1x},
                {"params":net.fc.parameters(),"lr":10*learning_rate},
            ],lr=learning_rate, weight_decay=0.001)
    else:
        # 普通的優(yōu)化器
        trainer = torch.optim.SGD(net.parameters(),lr=learning_rate,weight_decay=0.01)
    d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs,
                   devices)

train_fine_tuning(finetune_net, 5e-5)