一 寫在前面

未經(jīng)允許，不得轉(zhuǎn)載，謝謝。

這篇博客主要記錄了如何提取特定層的特征，然后對(duì)它進(jìn)行可視化。

二 主要的實(shí)現(xiàn)思路：

1. 處理單張圖片作為網(wǎng)絡(luò)輸入。
2. 根據(jù)給定的layer層，獲取該層的輸出結(jié)果features。
3. 考慮到features的形狀為：[batch_size, filter_nums, H, W] 提取其中的第一個(gè)過(guò)濾器得到的結(jié)果feature。
4. 以一張圖片作為輸入的情況下，我們得到的feature即為[H,W]大小的tensor。
5. 將tensor轉(zhuǎn)為numpy，然后歸一化到[0,1]，最后乘255，使得范圍為[0,255]
6. 得到灰度圖像并保存。

三 具體實(shí)現(xiàn)過(guò)程

了解實(shí)現(xiàn)流程之后整個(gè)代碼沒(méi)有什么難度，對(duì)其中的關(guān)鍵點(diǎn)進(jìn)行簡(jiǎn)單說(shuō)明一下：

• 模型我用了在ImageNet預(yù)先訓(xùn)練好的vgg16作為示例。
• 打印模型結(jié)構(gòu)可以看到每一層對(duì)應(yīng)的id是什么。
• 通常選擇conv后面的特征進(jìn)行可視化。
• 整個(gè)的實(shí)現(xiàn)放在類FeatureVisualization中實(shí)現(xiàn)。
• 對(duì)于歸一化到[0,1]的部分我用了sigmod方法。

需要特別交代的差不多就是這些，直接上代碼了：

import cv2
import numpy as np
import torch
from torch.autograd import Variable
from torchvision import models

def preprocess_image(cv2im, resize_im=True):
    """
        Processes image for CNNs

    Args:
        PIL_img (PIL_img): Image to process
        resize_im (bool): Resize to 224 or not
    returns:
        im_as_var (Pytorch variable): Variable that contains processed float tensor
    """
    # mean and std list for channels (Imagenet)
    mean = [0.485, 0.456, 0.406]
    std = [0.229, 0.224, 0.225]
    # Resize image
    if resize_im:
        cv2im = cv2.resize(cv2im, (224, 224))
    im_as_arr = np.float32(cv2im)
    im_as_arr = np.ascontiguousarray(im_as_arr[..., ::-1])
    im_as_arr = im_as_arr.transpose(2, 0, 1)  # Convert array to D,W,H
    # Normalize the channels
    for channel, _ in enumerate(im_as_arr):
        im_as_arr[channel] /= 255
        im_as_arr[channel] -= mean[channel]
        im_as_arr[channel] /= std[channel]
    # Convert to float tensor
    im_as_ten = torch.from_numpy(im_as_arr).float()
    # Add one more channel to the beginning. Tensor shape = 1,3,224,224
    im_as_ten.unsqueeze_(0)
    # Convert to Pytorch variable
    im_as_var = Variable(im_as_ten, requires_grad=True)
    return im_as_var


class FeatureVisualization():
    def __init__(self,img_path,selected_layer):
        self.img_path=img_path
        self.selected_layer=selected_layer
        self.pretrained_model = models.vgg16(pretrained=True).features

    def process_image(self):
        img=cv2.imread(self.img_path)
        img=preprocess_image(img)
        return img

    def get_feature(self):
        # input = Variable(torch.randn(1, 3, 224, 224))
        input=self.process_image()
        print(input.shape)
        x=input
        for index,layer in enumerate(self.pretrained_model):
            x=layer(x)
            if (index == self.selected_layer):
                return x

    def get_single_feature(self):
        features=self.get_feature()
        print(features.shape)

        feature=features[:,0,:,:]
        print(feature.shape)

        feature=feature.view(feature.shape[1],feature.shape[2])
        print(feature.shape)

        return feature

    def save_feature_to_img(self):
        #to numpy
        feature=self.get_single_feature()
        feature=feature.data.numpy()

        #use sigmod to [0,1]
        feature= 1.0/(1+np.exp(-1*feature))

        # to [0,255]
        feature=np.round(feature*255)
        print(feature[0])

        cv2.imwrite('./img.jpg',feature)




if __name__=='__main__':
    # get class
    myClass=FeatureVisualization('./input_images/home.jpg',5)
    print (myClass.pretrained_model)

    myClass.save_feature_to_img()

四 結(jié)果展示

輸入圖片：

home.jpg

• conv2的結(jié)果

  
  
  conv2

• conv5的結(jié)果

  
  
  conv5

五 寫在最后：彩蛋哈哈哈

1. 上面的程序完成了對(duì)神經(jīng)網(wǎng)絡(luò)特征層的輸出特征值進(jìn)行可視化的過(guò)程。

2. 在github上找到了同樣用pytorch對(duì)CNN網(wǎng)絡(luò)進(jìn)行可視化的代碼，目前作者已經(jīng)實(shí)現(xiàn)了對(duì)梯度、過(guò)濾器的可視化等等，還是非常具有學(xué)習(xí)和參考價(jià)值的，把鏈接放在這里供大家一起學(xué)習(xí)：pytorch-cnn-visualizations

3. 對(duì)于本文實(shí)現(xiàn)的可視化方法有什么問(wèn)題的歡迎簡(jiǎn)信交流~~~