研究与应用亮点#
用于 COVID-19 肺炎病灶分割的 COPLE-Net#
重新实现了最初由以下作者提出的 COPLE-Net:
G. Wang, X. Liu, C. Li, Z. Xu, J. Ruan, H. Zhu, T. Meng, K. Li, N. Huang, S. Zhang. (2020) “A Noise-robust Framework for Automatic Segmentation of COVID-19 Pneumonia Lesions from CT Images.” IEEE Transactions on Medical Imaging. 2020. DOI: 10.1109/TMI.2020.3000314
LAMP: 带有自动化模型并行化的大型深度网络用于图像分割#
重新实现了最初由以下作者提出的 LAMP 系统:
Wentao Zhu, Can Zhao, Wenqi Li, Holger Roth, Ziyue Xu, and Daguang Xu (2020) “LAMP: Large Deep Nets with Automated Model Parallelism for Image Segmentation.” MICCAI 2020 (Early Accept, paper link: https://arxiv.org/abs/2006.12575)
DiNTS: 可微神经网络拓扑搜索用于三维医学图像分割#
MONAI 集成了 DiNTS
模块,以支持更灵活的拓扑和联合两级搜索。它为搜索阶段提供了一种拓扑保证离散化算法和一种离散化感知拓扑损失,以最小化离散化差距,并提供一种成本使用感知搜索方法,可以搜索具有不同 GPU 内存需求的三维网络。更多详情,请查阅 DiNTS 教程。
解释深度学习基于多示例学习在全玻片成像中的依赖关系#
对于数字病理全玻片图像 (WSI) 分类,MONAI 引入了新的转换和网络模块用于多示例学习。其中包括自注意力 Transformer 块,用于在训练期间明确考虑示例(图像块)之间的依赖关系。更多详情,请查阅多示例学习教程。
自监督表示学习#
MONAI 在这个里程碑版本中开始探索自监督表示学习。Vision Transformer 已经扩展到通过各种数据增强和正则化对比损失来学习自监督重建任务。预训练骨干网络的权重可以用来增强下游新的深度学习任务的性能。
教程展示了如何使用无标注数据通过自监督任务生成一组良好的预训练权重,然后使用预训练权重在基于 Transformer 的 UNETR
上对完全监督的体素分割任务进行微调。
Swin UNETR 模型用于多器官分割任务#
对于Swin UNETR: Swin Transformers 用于 MRI 图像脑肿瘤的语义分割,MONAI 引入了新的网络模块,使用 BTCV 挑战数据集进行多器官分割任务。Swin UNETR 的架构
教程展示了基于 Swin UNETR 模型、DiceCE 损失函数、Mean Dice 等的多器官分割典型流程。我们使用了来自公开数据集的 5050 个 CT 扫描队列上对 Swin UNETR 编码器(3D Swin Transformer)进行自监督预训练获得的权重。
用于交互式分割的 DeepGrow 模块#
重新实现了 DeepGrow 组件,这是一种基于深度学习的半自动分割方法,旨在成为医学图像中感兴趣区域描绘的“智能”交互工具,最初由以下作者提出:
Sakinis, Tomas, et al. “Interactive segmentation of medical images through fully convolutional neural networks.” arXiv preprint arXiv:1903.08205 (2019).
用于交互式分割的 DeepEdit 工作流程#
DeepEdit 是一种将三维医学图像的自动和半自动方法组合到单个基于深度学习的模型中的方法。实现了 DeepEdit 模块,提供了交互式分割的基本组件。更多详情请参阅训练和推理教程。
下图显示了交互式分割的典型工作流程
用于交互式细胞核分割的 NuClick 模块#
NuClick 是一种基于 CNN 的方法,旨在通过最少 annotator 交互来加速微观物体标注的收集。实现包含了 NuClick 交互式细胞核分割训练和推理工作流程的基本组件。
下图是 NuClick 的示例输出(annotator 在细胞核内点击,CNN 将生成掩膜)
数字病理学中的病灶检测#
实现了病理检测组件,包括使用 NVIDIA cuCIM 库和 SmartCache 机制进行高效的全玻片成像 I/O 和多种图像块采样方法,用于病灶的 FROC 测量以及用于病灶检测的概率后处理。
基于学习的图像配准#
从 v0.5.0 开始,MONAI 提供了用于构建基于学习的 2D/3D 配准工作流程的实验性特性。这包括将图像相似度度量作为损失函数,将弯曲能量作为模型正则化,网络架构,以及形变模块。这些组件可用于构建主要的无监督和弱监督算法。
下图显示了使用 MONAI 对同一患者在不同时间点采集的 CT 图像进行配准
2D 和 3D 检测工作流程#
实现包含了 RetinaNet
的 2D 和 3D 边界框检测组件,其中包括:边界框操作、硬负样本采样器和 RetinaNet 检测器。
下图显示了检测训练和推理工作流程
重现 Kaggle 竞赛中的最先进解决方案#
重新实现了 Kaggle 中 RANZCR CLiP - 导管和管路位置挑战赛的第四名解决方案:https://www.kaggle.com/c/ranzcr-clip-catheter-line-classification