VM-UNet-V2 Rethinking Vision Mamba UNet for Medical Image Segmentation
SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation
创新点:针对高维医学影像分割任务,提出tri-orientated Mamba (ToM) module (TSMamba)。其中,为了增强ToM前面的空间维度特征,提出gated spatial convolution (GSC) module;提出一个数据集CRC-500,其中包含500个三维计算机断层扫描(CT)扫描图像与专家标注。
Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining
创新点:现有基于mamba的方法没有利用预训练模型,本文提出Swin-UMamba,专门针对2D医学影像分割,并且利用ImageNet-based pretraining。
数据集:AbdomenMRI, Encoscopy, and Microscopy datasets
LightM-UNet: Mamba Assists in Lightweight UNet for Medical Image Segmentation
Large Window-based Mamba UNet for Medical Image Segmentation: Beyond Convolution and Self-attention
LocalMamba: Visual State Space Model with Windowed Selective Scan
悉尼大学-徐畅
https: //github.com/hunto/LocalMamba
创新点:针对现有visual mamba直接flatten图像导致空间信息丢失的问题,提出local scanning strategy。另外,由于不同层对扫描方式偏好不同,提出动态方法为每个层独立搜索最优扫描方案。本文定义了8种扫描方案,最后选择概率最高的4个。
H-vmunet: High-order Vision Mamba UNet for Medical Image Segmentation
创新点:提出High-order Vision Mamba UNet (H-vmunet)模型。其中,High-order 2D-selective-scan (H-SS2D)通过高阶交互减少引入冗余信息。Local-SS2D module学习局部信息。
数据集:ISIC2017, Spleen, and CVC-ClinicDB
Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation
https://github.com/ziyangwang007/MambaUNet
本文与VM-UNet结构其实很相似,应该是大家都在蹭一个热度,同时在做这个工作,然后发表在arxiv上,这在深度学习领域也很常见。
Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation
牛津大学 Ziyang Wang
https://github.com/ziyangwang007/Weak-Mamba-Unet
创新点:本文结合Convolutional Neural Network (CNN), Vision Transformer (ViT), and the cutting-edge Visual Mamba (VMamba)构建了一种基于涂鸦标注的弱监督分割模型。这是利用Mamba架构进行医学图像分割的第一次尝试。
数据集:publicly available MRI cardiac segmentation dataset with processed scribble annotations
Semi-Mamba-UNet: Pixel-Level Contrastive and Pixel-Level Cross-Supervised Visual Mamba-based UNet for Semi-Supervised Medical Image Segmentation
牛津大学 Ziyang Wang
创新点:将Mamba-UNet和UNet整合到一个半监督分割模型中。提出self-supervised pixel-level contrastive learning strategy能够增强特征提取能力,尤其是无标签数据
数据集:ACDC
代码实现中,实际上是没有构建无标签数据集的,就是全都有标签,前面若干个用标签和有监督方式训练,两个模型输出argmax分别作为另一个模型的伪标签得到Losssemi。
代码train_Semi_Mamba_UNet.py中采用TwoStreamBatchSampler重新定义采样方法,实际上是把一个数据集中的数据按照index分成两部分,但是实际上这个数据集里面的数据都是有标签的。
T-Mamba: Frequency-Enhanced Gated Long-Range Dependency for Tooth 3D CBCT Segmentation
Sigma: Siamese Mamba Network for Multi-Modal Semantic Segmentation
https://github.com/zifuwan/Sigma
创新点:针对多模态语义分割问题,提出Siamese Mamba。提出基于注意力的mamba融合方式和通道感知mamba解码器。
数据集:RGB-Thermal and RGB-Depth segmentation tasks
UltraLight VM-UNet: Parallel Vision Mamba Significantly Reduces Parameters for Skin Lesion Segmentation
https://github.com/wurenkai/UltraLight-VM-UNet
作者与H-vmunet相同。
创新点:提出PVM层进行并行视觉mamba处理。
数据集:ISIC2017 dataset
HC-Mamba: Vision MAMBA with Hybrid Convolutional Techniques for Medical Image Segmentation
创新点:提出HC-Mamba,将膨胀卷积应用到Mamba分割模型。
数据集:Synapse, ISIC17 and ISIC18
UU-Mamba: Uncertainty-aware U-Mamba for Cardiac Image Segmentation
总结
目前Mamba已经发表了8个月,在分割任务上也已经有很多尝试。另外,Vision Mamba、mamba-v2已经在ICML上接收,并且在多个公开医学分割数据集(如ACDC、Synapse、ISIC17、ISIC18等)取得最高精度,这也说明mamba是真实有效的,本人近期也一直在跟进进展,并尝试将其应用到自己的专业领域,敬请期待。