Mamba->醫(yī)學圖像分割(二)

  • VM-UNet-V2 Rethinking Vision Mamba UNet for Medical Image Segmentation

??? VM-UNet-V2并不是VM-UNet的新作品,相當于被人截胡了。 ????創(chuàng)新點:將unet-v2中的Semantics and Detail Infusion (SDI)模塊, ??? VMamba中的VSS模塊結(jié)合從而構(gòu)建新模型。loss采用bce+dice。 ????數(shù)據(jù)集:ISIC17, ISIC18, CVC-300, CVC-ClinicDB, Kvasir, CVC-ColonDB and ETIS-LaribPolypDB

  • SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation

????創(chuàng)新點:針對高維醫(yī)學影像分割任務(wù),提出tri-orientated Mamba (ToM) module (TSMamba)。其中,為了增強ToM前面的空間維度特征,提出gated spatial convolution (GSC) module;提出一個數(shù)據(jù)集CRC-500,其中包含500個三維計算機斷層掃描(CT)掃描圖像與專家標注。

  • Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining

創(chuàng)新點:現(xiàn)有基于mamba的方法沒有利用預訓練模型,本文提出Swin-UMamba,專門針對2D醫(yī)學影像分割,并且利用ImageNet-based pretraining。

數(shù)據(jù)集:AbdomenMRI, Encoscopy, and Microscopy datasets

  • LightM-UNet: Mamba Assists in Lightweight UNet for Medical Image Segmentation

北京大學-王亞沙? 北京大學-Liantao Ma https: //github.com/MrBlankness/LightM-UNet 創(chuàng)新點:提出Residual Vision Mamba Layer (RVM Layer)用于提取深度語義特征和長程建模。分割結(jié)果表明該模型在分割性能和速度上優(yōu)于nn-Unet。

  • Large Window-based Mamba UNet for Medical Image Segmentation: Beyond Convolution and Self-attention

https://github.com/wjh892521292/LMa-UNet 創(chuàng)新點:提出hierarchical and bidirectional Mamba block。為SSM提供大感受野,從而使模型擁有強大的空間建模能力。

  • LocalMamba: Visual State Space Model with Windowed Selective Scan

悉尼大學-徐暢

https: //github.com/hunto/LocalMamba

創(chuàng)新點:針對現(xiàn)有visual mamba直接flatten圖像導致空間信息丟失的問題,提出local scanning strategy。另外,由于不同層對掃描方式偏好不同,提出動態(tài)方法為每個層獨立搜索最優(yōu)掃描方案。本文定義了8種掃描方案,最后選擇概率最高的4個。

  • H-vmunet: High-order Vision Mamba UNet for Medical Image Segmentation

創(chuàng)新點:提出High-order Vision Mamba UNet (H-vmunet)模型。其中,High-order 2D-selective-scan (H-SS2D)通過高階交互減少引入冗余信息。Local-SS2D module學習局部信息。

數(shù)據(jù)集:ISIC2017, Spleen, and CVC-ClinicDB

  • Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation

https://github.com/ziyangwang007/MambaUNet

本文與VM-UNet結(jié)構(gòu)其實很相似,應(yīng)該是大家都在蹭一個熱度,同時在做這個工作,然后發(fā)表在arxiv上,這在深度學習領(lǐng)域也很常見。

  • Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation

牛津大學 Ziyang Wang

https://github.com/ziyangwang007/Weak-Mamba-Unet

創(chuàng)新點:本文結(jié)合Convolutional Neural Network (CNN), Vision Transformer (ViT), and the cutting-edge Visual Mamba (VMamba)構(gòu)建了一種基于涂鴉標注的弱監(jiān)督分割模型。這是利用Mamba架構(gòu)進行醫(yī)學圖像分割的第一次嘗試。

數(shù)據(jù)集:publicly available MRI cardiac segmentation dataset with processed scribble annotations

  • Semi-Mamba-UNet: Pixel-Level Contrastive and Pixel-Level Cross-Supervised Visual Mamba-based UNet for Semi-Supervised Medical Image Segmentation

牛津大學 Ziyang Wang

創(chuàng)新點:將Mamba-UNet和UNet整合到一個半監(jiān)督分割模型中。提出self-supervised pixel-level contrastive learning strategy能夠增強特征提取能力,尤其是無標簽數(shù)據(jù)

數(shù)據(jù)集:ACDC

代碼實現(xiàn)中,實際上是沒有構(gòu)建無標簽數(shù)據(jù)集的,就是全都有標簽,前面若干個用標簽和有監(jiān)督方式訓練,兩個模型輸出argmax分別作為另一個模型的偽標簽得到Losssemi。

代碼train_Semi_Mamba_UNet.py中采用TwoStreamBatchSampler重新定義采樣方法,實際上是把一個數(shù)據(jù)集中的數(shù)據(jù)按照index分成兩部分,但是實際上這個數(shù)據(jù)集里面的數(shù)據(jù)都是有標簽的。

  • T-Mamba: Frequency-Enhanced Gated Long-Range Dependency for Tooth 3D CBCT Segmentation

https://github.com/isbrycee/T-Mamba 首次把頻域特征介紹到視覺mamba 提出T-Mamba, 將共享的位置編碼和基于頻率的特征集成到視覺mamba中。

  • Sigma: Siamese Mamba Network for Multi-Modal Semantic Segmentation

https://github.com/zifuwan/Sigma

創(chuàng)新點:針對多模態(tài)語義分割問題,提出Siamese Mamba。提出基于注意力的mamba融合方式和通道感知mamba解碼器。

數(shù)據(jù)集:RGB-Thermal and RGB-Depth segmentation tasks

  • UltraLight VM-UNet: Parallel Vision Mamba Significantly Reduces Parameters for Skin Lesion Segmentation

https://github.com/wurenkai/UltraLight-VM-UNet

作者與H-vmunet相同。

創(chuàng)新點:提出PVM層進行并行視覺mamba處理。

數(shù)據(jù)集:ISIC2017 dataset

  • HC-Mamba: Vision MAMBA with Hybrid Convolutional Techniques for Medical Image Segmentation

創(chuàng)新點:提出HC-Mamba,將膨脹卷積應(yīng)用到Mamba分割模型。

數(shù)據(jù)集:Synapse, ISIC17 and ISIC18

  • UU-Mamba: Uncertainty-aware U-Mamba for Cardiac Image Segmentation

https://github.com/tiffany9056/UU-Mamba 創(chuàng)新性:將U-Mamba模型與銳度感知最小化(SAM)優(yōu)化器和不確定性感知損失函數(shù)相結(jié)合。提出不確定度感知損失,不確定性感知損失結(jié)合了基于區(qū)域、基于分布和基于像素的損失。 數(shù)據(jù)集:ACDC


總結(jié)

????目前Mamba已經(jīng)發(fā)表了8個月,在分割任務(wù)上也已經(jīng)有很多嘗試。另外,Vision Mamba、mamba-v2已經(jīng)在ICML上接收,并且在多個公開醫(yī)學分割數(shù)據(jù)集(如ACDC、Synapse、ISIC17、ISIC18等)取得最高精度,這也說明mamba是真實有效的,本人近期也一直在跟進進展,并嘗試將其應(yīng)用到自己的專業(yè)領(lǐng)域,敬請期待。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容