Mamba->医学图像分割(二)

  • VM-UNet-V2 Rethinking Vision Mamba UNet for Medical Image Segmentation

    VM-UNet-V2并不是VM-UNet的新作品,相当于被人截胡了。     创新点:将unet-v2中的Semantics and Detail Infusion (SDI)模块,     VMamba中的VSS模块结合从而构建新模型。loss采用bce+dice。     数据集:ISIC17, ISIC18, CVC-300, CVC-ClinicDB, Kvasir, CVC-ColonDB and ETIS-LaribPolypDB

  • SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation

    创新点:针对高维医学影像分割任务,提出tri-orientated Mamba (ToM) module (TSMamba)。其中,为了增强ToM前面的空间维度特征,提出gated spatial convolution (GSC) module;提出一个数据集CRC-500,其中包含500个三维计算机断层扫描(CT)扫描图像与专家标注。

  • Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining

创新点:现有基于mamba的方法没有利用预训练模型,本文提出Swin-UMamba,专门针对2D医学影像分割,并且利用ImageNet-based pretraining。

数据集:AbdomenMRI, Encoscopy, and Microscopy datasets

  • LightM-UNet: Mamba Assists in Lightweight UNet for Medical Image Segmentation

北京大学-王亚沙  北京大学-Liantao Ma https: //github.com/MrBlankness/LightM-UNet 创新点:提出Residual Vision Mamba Layer (RVM Layer)用于提取深度语义特征和长程建模。分割结果表明该模型在分割性能和速度上优于nn-Unet。

  • Large Window-based Mamba UNet for Medical Image Segmentation: Beyond Convolution and Self-attention

https://github.com/wjh892521292/LMa-UNet 创新点:提出hierarchical and bidirectional Mamba block。为SSM提供大感受野,从而使模型拥有强大的空间建模能力。

  • LocalMamba: Visual State Space Model with Windowed Selective Scan

悉尼大学-徐畅

https: //github.com/hunto/LocalMamba

创新点:针对现有visual mamba直接flatten图像导致空间信息丢失的问题,提出local scanning strategy。另外,由于不同层对扫描方式偏好不同,提出动态方法为每个层独立搜索最优扫描方案。本文定义了8种扫描方案,最后选择概率最高的4个。

  • H-vmunet: High-order Vision Mamba UNet for Medical Image Segmentation

创新点:提出High-order Vision Mamba UNet (H-vmunet)模型。其中,High-order 2D-selective-scan (H-SS2D)通过高阶交互减少引入冗余信息。Local-SS2D module学习局部信息。

数据集:ISIC2017, Spleen, and CVC-ClinicDB

  • Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation

https://github.com/ziyangwang007/MambaUNet

本文与VM-UNet结构其实很相似,应该是大家都在蹭一个热度,同时在做这个工作,然后发表在arxiv上,这在深度学习领域也很常见。

  • Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation

牛津大学 Ziyang Wang

https://github.com/ziyangwang007/Weak-Mamba-Unet

创新点:本文结合Convolutional Neural Network (CNN), Vision Transformer (ViT), and the cutting-edge Visual Mamba (VMamba)构建了一种基于涂鸦标注的弱监督分割模型。这是利用Mamba架构进行医学图像分割的第一次尝试。

数据集:publicly available MRI cardiac segmentation dataset with processed scribble annotations

  • Semi-Mamba-UNet: Pixel-Level Contrastive and Pixel-Level Cross-Supervised Visual Mamba-based UNet for Semi-Supervised Medical Image Segmentation

牛津大学 Ziyang Wang

创新点:将Mamba-UNet和UNet整合到一个半监督分割模型中。提出self-supervised pixel-level contrastive learning strategy能够增强特征提取能力,尤其是无标签数据

数据集:ACDC

代码实现中,实际上是没有构建无标签数据集的,就是全都有标签,前面若干个用标签和有监督方式训练,两个模型输出argmax分别作为另一个模型的伪标签得到Losssemi。

代码train_Semi_Mamba_UNet.py中采用TwoStreamBatchSampler重新定义采样方法,实际上是把一个数据集中的数据按照index分成两部分,但是实际上这个数据集里面的数据都是有标签的。

  • T-Mamba: Frequency-Enhanced Gated Long-Range Dependency for Tooth 3D CBCT Segmentation

https://github.com/isbrycee/T-Mamba 首次把频域特征介绍到视觉mamba 提出T-Mamba, 将共享的位置编码和基于频率的特征集成到视觉mamba中。

  • Sigma: Siamese Mamba Network for Multi-Modal Semantic Segmentation

https://github.com/zifuwan/Sigma

创新点:针对多模态语义分割问题,提出Siamese Mamba。提出基于注意力的mamba融合方式和通道感知mamba解码器。

数据集:RGB-Thermal and RGB-Depth segmentation tasks

  • UltraLight VM-UNet: Parallel Vision Mamba Significantly Reduces Parameters for Skin Lesion Segmentation

https://github.com/wurenkai/UltraLight-VM-UNet

作者与H-vmunet相同。

创新点:提出PVM层进行并行视觉mamba处理。

数据集:ISIC2017 dataset

  • HC-Mamba: Vision MAMBA with Hybrid Convolutional Techniques for Medical Image Segmentation

创新点:提出HC-Mamba,将膨胀卷积应用到Mamba分割模型。

数据集:Synapse, ISIC17 and ISIC18

  • UU-Mamba: Uncertainty-aware U-Mamba for Cardiac Image Segmentation

https://github.com/tiffany9056/UU-Mamba 创新性:将U-Mamba模型与锐度感知最小化(SAM)优化器和不确定性感知损失函数相结合。提出不确定度感知损失,不确定性感知损失结合了基于区域、基于分布和基于像素的损失。 数据集:ACDC


总结

    目前Mamba已经发表了8个月,在分割任务上也已经有很多尝试。另外,Vision Mamba、mamba-v2已经在ICML上接收,并且在多个公开医学分割数据集(如ACDC、Synapse、ISIC17、ISIC18等)取得最高精度,这也说明mamba是真实有效的,本人近期也一直在跟进进展,并尝试将其应用到自己的专业领域,敬请期待。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容