MMClassification/MMPretrain安裝使用

1. 安裝及測(cè)試

https://mmclassification.readthedocs.io/zh_CN/1.x/get_started.html#id2
版本為1.x版本
從源碼安裝

git clone -b 1.x https://github.com/open-mmlab/mmclassification.git
cd mmclassification
pip install -U openmim && mim install -e .

驗(yàn)證安裝
第 1 步 我們需要下載配置文件和模型權(quán)重文件

mim download mmcls --config resnet50_8xb32_in1k --dest .

第 2 步 驗(yàn)證示例的推理流程

python demo/image_demo.py demo/demo.JPEG resnet50_8xb32_in1k.py resnet50_8xb32_in1k_20210831-ea4938fc.pth --device cpu

出現(xiàn)問(wèn)題多為MMCV的問(wèn)題，根據(jù)提示需要的版本號(hào)進(jìn)行卸載及安裝

2. 自定義數(shù)據(jù)集

1.x版本可以使用文件夾形式更方便的構(gòu)建自定義數(shù)據(jù)集，無(wú)需準(zhǔn)備標(biāo)注文件
https://mmclassification.readthedocs.io/en/dev-1.x/user_guides/dataset_prepare.html
https://colab.research.google.com/github/open-mmlab/mmclassification/blob/master/docs/en/tutorials/MMClassification_tools.ipynb#scrollTo=e4t2P2aTQokX
data/
├── train
│ ├── class1
│ ├── xxx.png
│ ├── xxy.png
│ ├── class2
│ ├── xxx.png
│ ├── xxy.png
│
├── val
│ ├── class1
│ ├── xxx.png
│ ├── xxy.png
│ ├── class2
│ ├── xxx.png
│ ├── xxy.png

3.自定義配置文件

以現(xiàn)有的配置文件為基礎(chǔ)，自己定義一個(gè)新的配置文件
https://mmclassification.readthedocs.io/zh_CN/dev-1.x/user_guides/config.html

image.png

一個(gè)特定網(wǎng)絡(luò)的配置文件是繼承現(xiàn)有的配置文件,如https://github.com/open-mmlab/mmclassification/blob/1.x/configs/resnet/resnet50_8xb32_in1k.py的配置文件

_base_ = [
    '../_base_/models/resnet50.py', '../_base_/datasets/imagenet_bs32.py',
    '../_base_/schedules/imagenet_bs256.py', '../_base_/default_runtime.py'
]

通過(guò)繼承并修改配置文件的方式實(shí)現(xiàn)快速的自定義配置文件

例如，如果在 ResNet 的基礎(chǔ)上做了一些修改，用戶首先可以通過(guò)指定 base = './resnet50_8xb32_in1k.py'（相對(duì)于你的配置文件的路徑），來(lái)繼承基礎(chǔ)的 ResNet 結(jié)構(gòu)、數(shù)據(jù)集以及其他訓(xùn)練配置信息，然后修改配置文件中的必要參數(shù)以完成繼承。如想在基礎(chǔ) resnet50 的基礎(chǔ)上使用 CutMix 訓(xùn)練增強(qiáng)，將訓(xùn)練輪數(shù)由 100 改為 300 和修改學(xué)習(xí)率衰減輪數(shù)，同時(shí)修改數(shù)據(jù)集路徑，可以建立新的配置文件 configs/resnet/resnet50_8xb32-300e_in1k.py， 文件中寫入以下內(nèi)容:

# 在 'configs/resnet/' 創(chuàng)建此文件
_base_ = './resnet50_8xb32_in1k.py'

# 模型在之前的基礎(chǔ)上使用 CutMix 訓(xùn)練增強(qiáng)
model = dict(
    train_cfg=dict(
        augments=dict(type='CutMix', alpha=1.0)
    )
)

# 優(yōu)化策略在之前基礎(chǔ)上訓(xùn)練更多個(gè) epoch
train_cfg = dict(max_epochs=300, val_interval=10)  # 訓(xùn)練300個(gè) epoch，每10個(gè) epoch 評(píng)估一次
param_scheduler = dict(step=[150, 200, 250])   # 學(xué)習(xí)率調(diào)整也有所變動(dòng)

# 使用自己的數(shù)據(jù)集目錄
train_dataloader = dict(
    dataset=dict(data_root='mydata/imagenet/train'),
)
val_dataloader = dict(
    batch_size=64,                  # 驗(yàn)證時(shí)沒有反向傳播，可以使用更大的 batchsize
    dataset=dict(data_root='mydata/imagenet/val'),
)
test_dataloader = dict(
    batch_size=64,                  # 測(cè)試時(shí)沒有反向傳播，可以使用更大的 batchsize
    dataset=dict(data_root='mydata/imagenet/val'),
)

基于自定義數(shù)據(jù)集的配置文件參考如下設(shè)置：

# -*- coding: utf-8 -*-
# +
# 鍦?'configs/resnet/' 鍒涘緩姝ゆ枃浠?#_base_ = './resnet50_8xb32_in1k.py'
#數(shù)據(jù)集配置文件不繼承，自己參考寫一下，其他可繼承做簡(jiǎn)單修改
_base_ = [
    '../_base_/models/resnet50.py',
    '../_base_/schedules/imagenet_bs256.py', '../_base_/default_runtime.py'
]

# +

# model settings
model = dict(
    type='ImageClassifier',
    backbone=dict(
        type='ResNet',
        depth=50,
        num_stages=4,
        out_indices=(3, ),
        style='pytorch'),
    neck=dict(type='GlobalAveragePooling'),
    head=dict(
        type='LinearClsHead',
        num_classes=2,#注意修改為自己數(shù)據(jù)集的類別
        in_channels=2048,
        loss=dict(type='CrossEntropyLoss', loss_weight=1.0),
        topk=(1, ),
    ))
# -

# 浼樺寲絳栫暐鍦ㄤ箣鍓嶅熀紜€涓婅緇冩洿澶氫釜 epoch
train_cfg = dict(max_epochs=100, val_interval=1)  # 璁粌300涓?epoch錛屾瘡10涓?epoch 璇勪及涓€嬈?#param_scheduler = dict(step=[30, 60, 90])   # 瀛︿範(fàn)鐜囪皟鏁翠篃鏈夋墍鍙樺姩

# 數(shù)據(jù)集配置，自定義數(shù)據(jù)集類型為CustomDataset，修改類別數(shù)量

dataset_type = 'CustomDataset'
data_preprocessor = dict(
    num_classes=2,
    # RGB format normalization parameters
    mean=[123.675, 116.28, 103.53],
    std=[58.395, 57.12, 57.375],
    # convert image from BGR to RGB
    to_rgb=True,
)
train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='RandomResizedCrop', scale=224),
    dict(type='RandomFlip', prob=0.5, direction='horizontal'),
    dict(type='PackClsInputs'),
]
test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='ResizeEdge', scale=256, edge='short'),
    dict(type='CenterCrop', crop_size=224),
    dict(type='PackClsInputs'),
]
train_dataloader = dict(
    batch_size=64,
    num_workers=5,
    dataset=dict(
        type='CustomDataset',
        data_prefix='xxx/train',#修改為訓(xùn)練集的路徑
        pipeline=[
            dict(type='LoadImageFromFile'),
            dict(type='RandomResizedCrop', scale=168, backend='pillow'),
            dict(type='RandomFlip', prob=0.5, direction='horizontal'),
            dict(type='PackClsInputs')
        ]),
    sampler=dict(type='DefaultSampler', shuffle=True))

val_dataloader = dict(
    batch_size=64,
    num_workers=5,
    dataset=dict(
        type='CustomDataset',
        data_prefix='xxx/val',#修改為驗(yàn)證集的
        pipeline=[
            dict(type='LoadImageFromFile'),
            dict(type='ResizeEdge', scale=224, edge='short', backend='pillow'),
            dict(type='CenterCrop', crop_size=168),
            dict(type='PackClsInputs')
        ]),
    sampler=dict(type='DefaultSampler', shuffle=False))
val_evaluator = dict(type='Accuracy', topk=(1, ))

test_dataloader = val_dataloader
test_evaluator = val_evaluator

4.單節(jié)點(diǎn)訓(xùn)練

python tool/tools/train.py  configs/resnet/resnet50_8xb32_medical.py

后面腳本為3中的配置文件
訓(xùn)練過(guò)程中權(quán)重文件保存在work_dirs/下

1.MMpretrain安裝

mmclassification升級(jí)為了MMpretrain，其安裝流程如下
https://mmpretrain.readthedocs.io/zh_CN/latest/get_started.html

git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
pip install -U openmim && mim install -e .

驗(yàn)證安裝

python demo/image_demo.py demo/demo.JPEG resnet18_8xb32_in1k --device cpu

安裝成功會(huì)輸出了結(jié)果字典，包括 pred_label，pred_score 和 pred_class 三個(gè)字段
遇到報(bào)錯(cuò)

LayerId = cv2.dnn.DictValue
AttributeError: module 'cv2.dnn' has no attribute 'DictValue'```

結(jié)局方法為替換opencv-python版本

pip install opencv-python==4.8.0.74 -i https://pypi.tuna.tsinghua.edu.cn/simple/

在新的docker里使用源碼安裝運(yùn)行訓(xùn)練出現(xiàn)如下問(wèn)題，一般是mmcv與cuda不匹配導(dǎo)致，解決方案為卸載mmcv,從源碼編譯mmcv

ImportError: libtorch_cuda_cu.so: cannot open shared object file

從源碼編碼mmcv參考
https://mmcv.readthedocs.io/zh_CN/latest/get_started/installation.html#
主要步驟：

git clone https://github.com/open-mmlab/mmcv.git
cd mmcv
pip install -r requirements/optional.txt
pip install -e . -v
python .dev_scripts/check_installation.py

在自己數(shù)據(jù)集上進(jìn)行微調(diào)，比如使用resnet50,在/mmpretrain/configs/resnet/下新建一個(gè)配置文件，內(nèi)容如下：
官網(wǎng)教程有問(wèn)題，建議做如下修改
models/schedules/runtimes可以復(fù)用，dataset重寫，主要是需要將train_dataloader 和test_dataloader里面的split需要?jiǎng)h掉

_base_ = [
    '../_base_/models/resnet50.py',
    '../_base_/schedules/imagenet_bs256.py', '../_base_/default_runtime.py'
]

# model設(shè)置
model = dict(
    backbone=dict(
        frozen_stages=2,
        init_cfg=dict(
            type='Pretrained',
            checkpoint='https://download.openmmlab.com/mmclassification/v0/resnet/resnet50_8xb32_in1k_20210831-ea4938fc.pth',
            prefix='backbone',
        )),
    head=dict(num_classes=3),
)
'''
# 官網(wǎng)推薦修改策略，有問(wèn)題
data_root = '/workspace/mmpretrain/BUSI_nomask'
train_dataloader = dict(
    batch_size=256,
    dataset=dict(
        type='CustomDataset',
        data_root=data_root,
        ann_file='',
        data_prefix='train',
    ))
val_dataloader = dict(
    dataset=dict(
        type='CustomDataset',
        data_root=data_root,
        ann_file='',
        data_prefix='test',
    ))
test_dataloader = val_dataloader
'''
# runtimes設(shè)置
optim_wrapper = dict(
    optimizer=dict(type='SGD', lr=0.01, momentum=0.9, weight_decay=0.0001))
param_scheduler = dict(
    type='MultiStepLR', by_epoch=True, milestones=[15], gamma=0.1)



# dataset settings
dataset_type = 'CustomDataset'
data_preprocessor = dict(
    num_classes=3,
    # RGB format normalization parameters
    mean=[123.675, 116.28, 103.53],
    std=[58.395, 57.12, 57.375],
    # convert image from BGR to RGB
    to_rgb=True,
)

train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='RandomResizedCrop', scale=224),
    dict(type='RandomFlip', prob=0.5, direction='horizontal'),
    dict(type='PackInputs'),
]

test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='ResizeEdge', scale=256, edge='short'),
    dict(type='CenterCrop', crop_size=224),
    dict(type='PackInputs'),
]

train_dataloader = dict(
    batch_size=32,
    num_workers=5,
    dataset=dict(
        type=dataset_type,
        data_root='/workspace/mmpretrain/BUSI_nomask/train',
        #split='train',
        pipeline=train_pipeline),
    sampler=dict(type='DefaultSampler', shuffle=True),
)

val_dataloader = dict(
    batch_size=32,
    num_workers=5,
    dataset=dict(
        type=dataset_type,
        data_root='/workspace/mmpretrain/BUSI_nomask/test',
       # split='val',
        pipeline=test_pipeline),
    sampler=dict(type='DefaultSampler', shuffle=False),
)
val_evaluator = dict(type='Accuracy', topk=(1,))

# If you want standard test, please manually configure the test dataset
test_dataloader = val_dataloader
test_evaluator = val_evaluator

單卡運(yùn)行方式
CUDA_VISIBLE_DEVICES=1 python tools/train.py configs/resnet/resnet50_8xb32_in1k_zb.py

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容