VM-UNet-V2 Rethinking Vision Mamba UNet for Medical Image Segmentation

SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation
????創(chuàng)新點:針對高維醫(yī)學影像分割任務(wù),提出tri-orientated Mamba (ToM) module (TSMamba)。其中,為了增強ToM前面的空間維度特征,提出gated spatial convolution (GSC) module;提出一個數(shù)據(jù)集CRC-500,其中包含500個三維計算機斷層掃描(CT)掃描圖像與專家標注。

Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining
創(chuàng)新點:現(xiàn)有基于mamba的方法沒有利用預訓練模型,本文提出Swin-UMamba,專門針對2D醫(yī)學影像分割,并且利用ImageNet-based pretraining。
數(shù)據(jù)集:AbdomenMRI, Encoscopy, and Microscopy datasets
LightM-UNet: Mamba Assists in Lightweight UNet for Medical Image Segmentation
Large Window-based Mamba UNet for Medical Image Segmentation: Beyond Convolution and Self-attention
LocalMamba: Visual State Space Model with Windowed Selective Scan
悉尼大學-徐暢
https: //github.com/hunto/LocalMamba
創(chuàng)新點:針對現(xiàn)有visual mamba直接flatten圖像導致空間信息丟失的問題,提出local scanning strategy。另外,由于不同層對掃描方式偏好不同,提出動態(tài)方法為每個層獨立搜索最優(yōu)掃描方案。本文定義了8種掃描方案,最后選擇概率最高的4個。

H-vmunet: High-order Vision Mamba UNet for Medical Image Segmentation
創(chuàng)新點:提出High-order Vision Mamba UNet (H-vmunet)模型。其中,High-order 2D-selective-scan (H-SS2D)通過高階交互減少引入冗余信息。Local-SS2D module學習局部信息。
數(shù)據(jù)集:ISIC2017, Spleen, and CVC-ClinicDB

Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation
https://github.com/ziyangwang007/MambaUNet
本文與VM-UNet結(jié)構(gòu)其實很相似,應(yīng)該是大家都在蹭一個熱度,同時在做這個工作,然后發(fā)表在arxiv上,這在深度學習領(lǐng)域也很常見。

Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation
牛津大學 Ziyang Wang
https://github.com/ziyangwang007/Weak-Mamba-Unet
創(chuàng)新點:本文結(jié)合Convolutional Neural Network (CNN), Vision Transformer (ViT), and the cutting-edge Visual Mamba (VMamba)構(gòu)建了一種基于涂鴉標注的弱監(jiān)督分割模型。這是利用Mamba架構(gòu)進行醫(yī)學圖像分割的第一次嘗試。
數(shù)據(jù)集:publicly available MRI cardiac segmentation dataset with processed scribble annotations

Semi-Mamba-UNet: Pixel-Level Contrastive and Pixel-Level Cross-Supervised Visual Mamba-based UNet for Semi-Supervised Medical Image Segmentation
牛津大學 Ziyang Wang
創(chuàng)新點:將Mamba-UNet和UNet整合到一個半監(jiān)督分割模型中。提出self-supervised pixel-level contrastive learning strategy能夠增強特征提取能力,尤其是無標簽數(shù)據(jù)
數(shù)據(jù)集:ACDC
代碼實現(xiàn)中,實際上是沒有構(gòu)建無標簽數(shù)據(jù)集的,就是全都有標簽,前面若干個用標簽和有監(jiān)督方式訓練,兩個模型輸出argmax分別作為另一個模型的偽標簽得到Losssemi。
代碼train_Semi_Mamba_UNet.py中采用TwoStreamBatchSampler重新定義采樣方法,實際上是把一個數(shù)據(jù)集中的數(shù)據(jù)按照index分成兩部分,但是實際上這個數(shù)據(jù)集里面的數(shù)據(jù)都是有標簽的。
T-Mamba: Frequency-Enhanced Gated Long-Range Dependency for Tooth 3D CBCT Segmentation


Sigma: Siamese Mamba Network for Multi-Modal Semantic Segmentation
https://github.com/zifuwan/Sigma
創(chuàng)新點:針對多模態(tài)語義分割問題,提出Siamese Mamba。提出基于注意力的mamba融合方式和通道感知mamba解碼器。
數(shù)據(jù)集:RGB-Thermal and RGB-Depth segmentation tasks

UltraLight VM-UNet: Parallel Vision Mamba Significantly Reduces Parameters for Skin Lesion Segmentation
https://github.com/wurenkai/UltraLight-VM-UNet
作者與H-vmunet相同。
創(chuàng)新點:提出PVM層進行并行視覺mamba處理。
數(shù)據(jù)集:ISIC2017 dataset


HC-Mamba: Vision MAMBA with Hybrid Convolutional Techniques for Medical Image Segmentation
創(chuàng)新點:提出HC-Mamba,將膨脹卷積應(yīng)用到Mamba分割模型。
數(shù)據(jù)集:Synapse, ISIC17 and ISIC18

UU-Mamba: Uncertainty-aware U-Mamba for Cardiac Image Segmentation

總結(jié)
????目前Mamba已經(jīng)發(fā)表了8個月,在分割任務(wù)上也已經(jīng)有很多嘗試。另外,Vision Mamba、mamba-v2已經(jīng)在ICML上接收,并且在多個公開醫(yī)學分割數(shù)據(jù)集(如ACDC、Synapse、ISIC17、ISIC18等)取得最高精度,這也說明mamba是真實有效的,本人近期也一直在跟進進展,并嘗試將其應(yīng)用到自己的專業(yè)領(lǐng)域,敬請期待。


