模型库 (Model Zoo)

医学 AI 预训练模型

每个模型均以 MONAI Bundle 的形式发布：权重、训练配置和推理代码集成在一个可复现的单元中。交互式浏览器需要 JavaScript；完整目录列于下方。

  • 脑部 MRI 潜在扩散合成模型 (v1.0.3)

    一种潜在扩散模型，可生成分辨率为 1mm 各向同性、大小为 160x224x160 体素的 T1 加权脑部 MRI 体数据。该模型接受年龄、性别、脑室体积和脑体积的条件输入，能够受控地生成具有特定人口统计学和形态学特征的脑部图像。

    brain_image_synthesis_latent_diffusion_model

  • BraTS MRI 轴向切片潜在扩散生成模型 (v1.1.4)

    基于 BraTS 数据集训练的潜在扩散模型，可从高斯噪声中合成 2D 脑部 MRI 轴向切片（240x240 像素）。该模型处理 1 通道的潜在空间特征 (64x64)，并生成具有 1mm 面内分辨率的 FLAIR 序列，能够捕捉多种肿瘤和脑组织的表现。

    brats_mri_axial_slices_generative_diffusion

  • BraTS MRI 潜在扩散生成模型 (v1.1.4)

    基于 BraTS 多模态 MRI 数据集训练的体积潜在扩散模型，可从高斯噪声中生成具有肿瘤特征的 3D 脑部 MRI 体数据（112x128x80 体素）。

    brats_mri_generative_diffusion

  • BraTS MRI 分割模型 (v0.5.4)

    用于从多模态 MRI 扫描（T1、T1c、T2、FLAIR）中勾画脑部肿瘤子区域的 3D 分割模型。该模型处理 1mm 各向同性分辨率的 4 通道输入体数据，并输出 3 通道的分割掩膜，用于标识肿瘤核心 (TC)、全肿瘤 (WT) 和增强肿瘤 (ET)。

    brats_mri_segmentation

  • 乳腺密度分类模型 (v0.1.8)

    一种用于根据 BI-RADS 密度类别（A 到 D）对乳房 X 线摄影中的乳腺组织密度进行自动分类的深度学习模型。该模型处理 299x299 像素的图像，将乳腺组织分为四类：脂肪型、散在纤维腺体型、多灶致密型和极度致密型。

    breast_density_classification

  • 胸部 X 光潜在扩散合成模型 (v1.0.2)

    一种从 64x64x77 维潜在空间生成 512x512 像素胸部 X 光图像的潜在扩散模型。该模型通过 1024 维上下文向量处理基于文本的条件输入，从而实现对具有特定病理特征的 X 光图像的受控生成。

    cxr_image_synthesis_latent_diffusion_model

  • CT-CHAT (v1.1.0)

    CT-CHAT 是一款专为 3D 胸部 CT 影像解读与分析而设计的多模态 AI 助手。该模型擅长视觉问答、报告生成和多项选择题解答等任务，利用完整的 3D 空间信息，相比 2D 方法具有更优越的性能。

    hf_ct_chat

  • 内窥镜体内分类模型 (v0.5.1)

    一种基于 SENet 的二分类模型，用于区分内窥镜视频中的体内和体外帧。该模型处理 256x256 像素的 RGB 图像并过滤无关帧，从而实现自动化的手术过程分析。

    endoscopic_inbody_classification

  • 内窥镜手术器械分割模型 (v0.6.2)

    一种用于识别并勾画内窥镜视频帧中手术器械的 2D 分割模型。该模型处理 736x480 像素的 RGB 图像并提供二值分割掩膜。基于 EfficientNet-UNet 架构，支持手术过程的实时分析。

    endoscopic_tool_segmentation

  • EXAONE Path 2.0 (v1.0.0)

    EXAONE Path 2.0 是一种病理学基础模型，在切片级监督下学习斑块级表示。仅使用 3.7 万张全切片影像 (WSI) 进行训练，EXAONE Path 2.0 在 10 项生物标志物预测任务中均达到了业内领先的平均性能，展现了出色的数据效率。

    hf_exaonepath_2.0

  • EXAONEPath (v1.1.0)

    EXAONEPath 是一款斑块级病理学基础模型，在保持计算效率的同时，在多项病理任务中实现了业内领先的性能。它在组织分类、肿瘤检测和微卫星不稳定性评估方面表现优异。

    hf_exaonepath

  • EXAONEPath-CRC-MSI-Predictor (v1.0.0)

    使用 EXAONEPath（一种病理学斑块级基础模型）进行结直肠癌 (CRC) 肿瘤的 MSI 分类。

    hf_exaonepath-crc-msi-predictor

  • HoVer-Net：细胞核分割与分类模型 (v0.2.8)

    一种基于 HoVer-Net 架构的多任务学习模型，可同时在 H&E 染色组织学图像中执行细胞核分割和类型分类。该模型处理 256x256 像素的 RGB 斑块并输出三个互补的预测：二值细胞核分割（Dice 得分：0.83）、用于实例分离的 hover 映射图以及像素级细胞核类型分类。

    pathology_nuclei_segmentation_classification

  • Llama3-VILA-M3-13B (v1.1.0)

    VILA-M3 是基于 Llama 3 和 VILA 架构构建的医学视觉语言模型。该 13B 参数模型可执行包括分割、分类、视觉问答和跨多种成像模态的报告生成在内的医学图像分析。

    hf_llama3_vila_m3_13b

  • Llama3-VILA-M3-3B (v1.1.0)

    VILA-M3 是基于 Llama 3 和 VILA 架构构建的医学视觉语言模型。该 3B 参数模型可执行包括分割、分类、视觉问答和跨多种成像模态的报告生成在内的医学图像分析。

    hf_llama3_vila_m3_3b

  • Llama3-VILA-M3-8B (v1.1.0)

    VILA-M3 是基于 Llama 3 和 VILA 架构构建的医学视觉语言模型。该 8B 参数模型可执行包括分割、分类、视觉问答和跨多种成像模态的报告生成在内的医学图像分析。

    hf_llama3_vila_m3_8b

  • 肺结节 CT 检测模型 (v0.6.10)

    一种用于识别 CT 扫描中肺结节的 3D 检测模型。该模型处理可变大小的斑块并输出带有分类分数的检测框。在 LUNA16 挑战数据集上训练，为胸部 CT 检查中的肺结节检测提供了自动筛选能力。

    lung_nodule_ct_detection

  • MAISI：用于合成影像的医学 AI (v1.0.2)

    MAISI 是一种基于扩散的模型，用于生成具有解剖结构控制的合成 3D CT 图像。该模型可生成高达 512×512×768 体素的逼真 CT 体数据，并能基于 127 种解剖结构的器官分割来生成条件图像。

    maisi_ct_generative

  • 医学图像分类模板 (v0.0.4)

    一套用于开发 2D 医学图像分类模型的综合模板，具有模块化架构和标准化的训练流程。该模板支持单通道 128x128 像素输入图像并输出 4 类概率分布，可作为自定义医学图像分类任务的基础。

    classification_template

  • 医学图像分割模板 (v0.0.4)

    一套综合性的 3D 分割框架，旨在作为开发自定义医学体积分割模型的基础。该模板包含可配置的架构和预处理流程，处理单通道输入的 128x128x128 体素体积，并生成 4 类分割输出。包含用于演示和测试的随机球体生成支持。

    segmentation_template

  • MedNIST DDPM 手部 X 光生成模型 (v1.0.3)

    一种基于 MedNIST 数据集合成手部 X 光图像的去噪扩散概率模型 (DDPM)。该模型通过迭代去噪过程学习数据集的潜在分布，展示了扩散模型在医学图像合成方面的能力。具备渐进式噪声到图像的生成功能，并可对生成过程进行精细控制。

    mednist_ddpm

  • MedNIST GAN (v0.4.4)

    一种基于 MedNIST 数据集合成手部 X 光图像的生成对抗网络 (GAN)。该模型生成具有不同外观和方向的 64x64 像素手部 X 光片。生成的图像保持了解剖学上的合理性，可用于数据增强和教学目的。

    mednist_gan

  • MedNIST 手部 X 光配准模型 (v0.0.7)

    一种基于 ResNet 的空间变换模型，用于对 MedNIST 数据集中的手部 X 光图像进行精确配准。该模型处理 64x64 像素的输入对（移动图像和固定图像）并输出配准后的图像，展示了深度学习在医学图像配准中的应用。

    mednist_reg

  • 多器官腹部分割模型 (v0.0.6)

    一种通过神经架构搜索 (DiNTS) 优化的 3D 分割模型，处理来自 CT 扫描的 96x96x96 像素斑块，以分割八种腹部器官和结构。该模型在所有结构（包括肝脏、脾脏、胰腺、胃、胆囊和血管结构）上的平均 Dice 得分为 0.88。

    multi_organ_segmentation

  • 胰腺及肿瘤 DiNTS 分割模型 (v0.5.2)

    一种通过神经架构搜索 (DiNTS) 优化的 3D 分割模型，处理来自 CT 扫描的 96x96x96 像素斑块，以分割胰腺和胰腺肿瘤。该模型架构经过自动搜索以平衡准确性和计算效率，在两种结构上均实现了 0.62 的平均 Dice 得分。

    pancreas_ct_dints_segmentation

  • 病理学细胞核分类模型 (v0.2.2)

    一种基于 HoVer-Net 架构的深度学习模型，用于对 H&E 染色组织学图像中的细胞核进行分类。该模型处理带有细胞核掩膜的 128x128 像素 RGB 图像，并将细胞分为四种不同的类型：炎症细胞、上皮细胞、梭形细胞和其他细胞核。

    pathology_nuclei_classification

  • 病理学 NuClick 注释模型 (v0.2.3)

    一种基于 NuClick 框架的交互式细胞核分割模型。该模型处理带有正负点击信号的 128x128 像素 RGB 图像，以生成细胞核分割掩膜。在 CoNSeP 数据集上训练。

    pathology_nuclick_annotation

  • 病理学肿瘤检测模型 (v0.6.4)

    一种用于检测全切片病理图像中转移性组织的深度学习模型。该模型处理 224x224 像素的 RGB 斑块并提供转移检测的概率得分。在 Camelyon16 数据集上训练。

    pathology_tumor_detection

  • 儿科腹部 CT 分割模型 (v0.4.6)

    一种用于儿科腹部 CT 图像中肝脏、脾脏和胰腺的 3D 分割模型。该模型处理 96x96x96 像素斑块并提供分割掩膜。在 TotalSegmentator、TCIA 和 BTCV 数据集上预训练，并在辛辛那提儿童医院健康儿科数据集上进行了微调。

    pediatric_abdominal_ct_segmentation

  • 前列腺 MRI 解剖结构模型 (v0.3.6)

    一种 3D 分割模型，用于区分 MRI 图像中前列腺的中心腺体和外周带。该模型处理 96x96x96 像素斑块并提供分割掩膜。

    prostate_mri_anatomy

  • 肾脏结构 CECT 分割模型 (v0.2.3)

    一种基于 3D UNet 的分割模型，用于增强 CT 扫描中肾脏结构的综合分析。该模型处理 96x96x96 体素斑块并识别六种解剖结构：动脉、静脉、输尿管、实质、囊肿和肿瘤。

    renalStructures_CECT_segmentation

  • 肾脏结构 UNEST 分割模型 (v0.2.7)

    一种基于 Transformer 的 3D 分割模型，用于勾画 CT 图像中的肾皮质、髓质和肾盂肾盏系统。该模型处理 96x96x96 像素斑块并为详细的形态分析提供分割掩膜。

    renalStructures_UNEST_segmentation

  • 视网膜 OCT RPD 分割模型 (v0.0.1)

    该网络用于检测和分割光学相干断层扫描 (OCT) B-scans 中的网状假性玻璃疣 (RPD) 实例，支持 vol 或 dicom 格式。

    retinalOCT_RPD_segmentation

  • 脾脏 CT 分割模型 (v0.6.1)

    一种用于 CT 图像中脾脏勾画的 3D 分割模型。该模型处理 96x96x96 像素斑块并提供脾脏组织的分割掩膜。在医学分割十项全能 (MSD) 数据集上训练。

    spleen_ct_segmentation

  • 脾脏 DeepEdit 交互式分割模型 (v0.5.8)

    一种交互式 3D 分割模型，可处理来自 CT 扫描的 128x128x128 像素斑块以分割脾脏。该模型通过 DeepEdit 框架集成了用户提供的点注释，支持接收正负点击输入以实时细化分割边界。

    spleen_deepedit_annotation

  • Swin UNETR BTCV 多器官分割模型 (v0.5.8)

    一种基于 Swin UNETR 架构的 3D 分割模型，处理来自 CT 扫描的 96x96x96 像素斑块以分割 13 种腹部器官和结构。该模型利用了自监督预训练和分层 Transformer 块。

    swin_unetr_btcv_segmentation

  • 心脏瓣膜标志点回归模型 (v0.5.2)

    一种心脏瓣膜标志点检测模型，用于在长轴 MRI 图像的心动周期中定位 10 个瓣膜插入点。该模型处理 256x256 像素图像并输出二尖瓣、主动脉瓣和三尖瓣插入点的 2D 坐标，从而支持心脏模拟的 3D 有限元建模。

    valve_landmarks

  • 心室短轴 3 标签分割模型 (v0.3.5)

    一种心脏 MRI 分割模型，用于勾画 2D 短轴图像中的三个关键结构：左心室血池、心肌和右心室血池。该模型处理 256x256 像素图像并提供分割掩膜，用于整个心动周期内心脏结构的功能评估。

    ventricular_short_axis_3label

  • VISTA-2D：细胞实例分割模型 (v0.4.0)

    VISTA-2D 是一种用于显微镜图像的基于流的细胞实例分割模型。它处理 256x256 RGB 图像并为每个细胞生成带有唯一标签的实例掩膜。该模型支持明场、荧光和相差成像，可处理相互接触的细胞和重叠实例。

    vista2d

  • VISTA-3D：通用影像分割与注释模型 (v0.5.11)

    一种 3D 分割模型，处理来自 CT 扫描的 128x128x128 像素斑块，以识别并勾画 130 多种解剖结构。该模型采用零样本学习能力，无需重新训练即可适应新的解剖目标，支持对器官、骨骼、肌肉和病理发现进行全面的体积分析。

    vista3d

  • 全身 CT 分割模型 (v0.2.7)

    一种基于 SegResNet 的体积分割模型，可从 CT 扫描中分割 104 种不同的解剖结构。该模型处理 96x96x96 像素斑块，并为全身的主要器官、骨骼、肌肉和血管结构提供分割掩膜，在 TotalSegmentator 数据上进行训练。

    wholeBody_ct_segmentation

  • 全脑大型 UNEST 分割模型 (v0.2.7)

    一种基于 Transformer 的 3D 分割模型，用于在 T1W MRI 扫描中识别 133 种不同的脑部结构。该模型处理 96x96x96 像素斑块，并为全面的神经解剖分析提供分割掩膜。

    wholeBrainSeg_Large_UNEST_segmentation