研究与应用亮点#

用于 COVID-19 肺炎病灶分割的 COPLE-Net#

重新实现了最初由以下作者提出的 COPLE-Net:

G. Wang, X. Liu, C. Li, Z. Xu, J. Ruan, H. Zhu, T. Meng, K. Li, N. Huang, S. Zhang. (2020) “A Noise-robust Framework for Automatic Segmentation of COVID-19 Pneumonia Lesions from CT Images.” IEEE Transactions on Medical Imaging. 2020. DOI: 10.1109/TMI.2020.3000314 coplenet

LAMP:用于图像分割的自动模型并行化大型深度网络#

重新实现了最初由以下作者提出的 LAMP 系统:

Wentao Zhu, Can Zhao, Wenqi Li, Holger Roth, Ziyue Xu, and Daguang Xu (2020) “LAMP: Large Deep Nets with Automated Model Parallelism for Image Segmentation.” MICCAI 2020 (Early Accept, 论文链接: https://arxiv.org/abs/2006.12575)

LAMP UNet

DiNTS:用于 3D 医学图像分割的可微神经网络拓扑搜索#

MONAI 集成了 DiNTS 模块,以支持更灵活的拓扑结构和联合二级搜索。它为搜索阶段提供了一种拓扑保证的离散化算法和离散化感知拓扑损失函数,以最小化离散化差距;同时提供了一种成本感知搜索方法,可以搜索具有不同 GPU 内存需求的 3D 网络。欲了解更多详情,请查看 DiNTS 教程

DiNTS

在基于深度学习的数字病理全切片图像多实例学习中考虑依赖关系#

针对 数字病理全切片图像 (WSI) 的分类,MONAI 引入了用于多实例学习的新转换和网络模块。其中包括用于在训练过程中显式考虑实例(图像切片)之间依赖关系的自注意力 Transformer 块。欲了解更多详情,请查看 多实例学习教程multi-instance

自监督表征学习#

在此版本里程碑中,MONAI 开始探索自监督表征学习。Vision Transformer 已扩展为可以通过各种数据增强和正则化对比损失进行自监督重建任务学习。预训练骨干网络的权重可用于增强新型下游深度学习任务的性能。

教程展示了如何使用无标签数据通过自监督任务生成一组高质量的预训练权重,然后使用这些预训练权重在基于 Transformer 的 UNETR 上对全监督体积分割任务进行微调。

self-supervised

用于多器官分割任务的 Swin UNETR 模型#

针对 Swin UNETR: 用于 MRI 图像脑肿瘤语义分割的 Swin Transformers,MONAI 引入了使用 BTCV 挑战数据集进行多器官分割任务的新网络模块。Swin UNETR 的架构

swin-unetr

教程展示了基于 Swin UNETR 模型、DiceCE 损失函数、平均 Dice 等的多器官分割的典型流程。我们使用了在来自公开数据集的 5050 例 CT 扫描队列上进行 Swin UNETR 编码器(3D Swin Transformer)自监督预训练的权重。

用于交互式分割的 DeepGrow 模块#

重新实现了 DeepGrow 组件,这是一种基于深度学习的半自动分割方法,旨在成为医学图像中感兴趣区域勾画的“智能”交互式工具,最初由以下作者提出:

Sakinis, Tomas, et al. “Interactive segmentation of medical images through fully convolutional neural networks.” arXiv preprint arXiv:1903.08205 (2019).

deepgrow scheme

用于交互式分割的 DeepEdit 工作流#

DeepEdit 是一种将 3D 医学图像的自动和半自动方法结合到单个基于深度学习的模型中的方法。DeepEdit 模块的 实现提供了交互式分割的基本组件。更多详细信息可在训练和推理 教程中获取。

下图显示了交互式分割的典型工作流

deepedit workflow

用于交互式细胞核分割的 NuClick 模块#

NuClick 是一种基于 CNN 的方法,旨在加快对微观对象的标注采集速度,只需标注者进行最少的交互。该 实现包含了 NuClick 交互式细胞核分割的训练和推理工作流的基本组件。

下图是 NuClick 的输出示例(标注者点击细胞核内部,CNN 将生成掩码)

nuclick output

数字病理中的病灶检测#

病理检测组件的 实现,其中包括高效的全切片图像 IO、使用 NVIDIA cuCIM 库和 SmartCache 机制的几种切片采样方法、用于病灶检测的 FROC 测量以及概率后处理。

digital pathology

基于学习的图像配准#

从 v0.5.0 开始,MONAI 提供了用于构建基于学习的 2D/3D 配准工作流的实验性功能。这些功能包括作为损失函数的图像相似性度量、作为模型正则化的弯曲能量、网络架构以及形变模块。这些组件可用于构建主要的不监督和弱监督算法。

下图显示了使用 MONAI 对同一患者在不同时间点获取的 CT 图像进行的配准

3d registration

2D 和 3D 检测工作流#

实现包含了 RetinaNet 的 2D 和 3D 边界框检测组件,其中包括:边界框操作、硬负样本采样器和 RetinaNet 检测器。

下图显示了检测训练和推理工作流

detection workflow

复现最先进的 Kaggle 竞赛解决方案#

重新实现了 Kaggle 中 RANZCR CLiP - 导管和管线位置分类挑战赛的第四名解决方案:https://www.kaggle.com/c/ranzcr-clip-catheter-line-classification