期刊Transactions on Medical Imaging年份2026英文名字Reliable Multi-Prototypical Contrastive Learning for Semi-Supervised Heterogeneous and Multi-Organ Medical Image Segmentation中文译为面向半监督异构多器官医学图像分割的可靠多原型对比学习一、摘要论文认为真实临床中的多器官分割主要面临两个问题① 类间特征模糊Inter-class Feature Ambiguity不同器官之间或者器官与背景之间可能具有非常相似的图像特征例如膝关节中的髌韧带股四头肌腱半月板软骨。特别是在低对比度和边界区域很容易发生误分割。② 多源样本高度异质High Multi-source Sample Heterogeneity来自不同医院、扫描仪和扫描协议的数据具有明显差异因此同一个器官的特征并不一定聚集成一个紧凑的特征簇而可能形成多个分散的子簇。针对这两个问题作者提出TP-Net采用可靠的多原型对比学习Multi-Prototypical Contrastive Learning, MPCL。核心思想是一个类别一个Prototype而是 一个类别→多个Prototype​利用多个 prototype 描述同一器官在不同数据源中的复杂分布再通过对比学习实现同类聚合、异类分离。多器官分割面临两大挑战a类间特征模糊b多源样本异质性高。请注意a显示了不同颜色的不同器官的轮廓红色箭头表示两个器官或一个器官和背景相似的区域。b左侧总结了为多个医学图像数据[24]、[25]、[26]、[27]、[28]、[29]、[30]做出贡献的医疗中心的数量而b右侧显示了具有不同视觉特征的样本二、创新点创新一提出 TP-Net 半监督异构多器官分割框架论文面向少量标注 大量未标注 多来源异构数据 多器官分割设计了一个统一的半监督学习框架。它结合Dual NetworkMulti-PrototypeContrastive Learning既利用未标注数据又针对真实临床数据的异质性进行特征建模。创新二异构原型动态演化机制传统 prototype 方法通常采用 Class↔One Prototype但作者认为多中心数据中一个器官可能形成多个不同特征子簇。因此提出 Class↔Multiple Prototypes并建立Class Prototype Feature Bank。新产生的 prototype 与历史 prototype 共同建立相似性图通过图驱动聚类、相似 prototype 合并以及过期 prototype 删除动态维护原型库。因此可以更完整地描述多来源数据中的类内分布。创新三可靠多原型对比学习作者设计了两种 MPCLMulti-Prototypical Contrastive LearningLL-MPCLLimited Labels Guided MPCLPL-MPCLReliable Pseudo-Labels Guided MPCL。前者利用少量真实标签获得可靠 prototype后者通过不确定性估计筛选可靠 pseudo-label再利用未标注数据构建 prototype。之后通过 同类 Prototype Attraction和 异类 Prototype Repulsion增强类间可分性从而解决不同器官之间边界模糊的问题。三、方法所提出的TP-Net模型概述其中包括两个类原型特征库和两个由一个共享编码器和三个具有不同上采样策略的解码器组成的主网络。请注意类原型特征库由几个原型特征库组成每个原型特征库对应一个类包括背景并存储有限数量的原型特征。该模型通过最小化监督损失、具有不同上采样Lucks的CPS的一致性损失、具有不同初始化的CPS的一致性损失、有限标签引导的多原型对比损失和可靠的伪标签引导多原型对比丢失来执行SSL。3.1 双网络 Multi-CPS 半监督框架TP-Net首先建立两个结构相同但初始化不同的主网络。每个主网络包括1个共享 Encoder 3个 Decoder三个 Decoder 分别采用不同的上采样方式转置卷积双线性插值最近邻插值。因此一共有2×36个预测分支。作者利用两类 Cross-Pseudo SupervisionCPS with Different Upsampling同一个网络内部不同 Decoder 之间互相进行一致性约束。CPS with Different Initialization两个不同初始化的网络之间相同 Decoder 分支互相提供 pseudo-label损失。这样可以人为制造更丰富的模型扰动提高半监督训练稳定性避免两个网络预测过于相似。3.2 异构原型动态演化机制这是 TP-Net 的核心模块之一。网络从最后一层特征中提取可靠像素并针对每一个类别计算 class prototype。作者分别建立两个 Prototype Bank用于少量真实标签引导的 prototype以及用于可靠 pseudo-label 引导的 prototype。与传统方法不同一个类别可以保存多个 prototype每一个 prototype 可以表示该器官在某一个数据来源或者某种特征分布下的模式。Prototype 如何更新将当前 batch 新生成的 prototype历史 Prototype Bank 中的 prototype共同作为图节点。计算 prototype 之间的 cosine similarity。如果Similarity≥α则认为两个 prototype 相似将它们连接并合并。若 Prototype Bank 超过最大容量 Vmax​则利用时间戳删除长期没有更新的 prototype。因此整个过程为生成Prototype→相似性图→合并相似Prototype→删除过期Prototype​形成一个持续演化的多原型库。3.3 可靠多原型对比学习1、LL-MPCLLimited Labels Guided MPCL针对有标签数据首先计算每个像素预测的不确定性即使用预测熵衡量不确定性。根据真实标签可以知道不同 uncertainty interval 中预测的准确率然后选择准确率最高的不确定性区间中的像素用于构造可靠 prototype。之后进行对比学习当前Class Feature→靠近同类Prototype当前Class Feature→远离其他类别Prototype从而提高类间分离性。使用的损失2、PL-MPCLReliable Pseudo-Labels Guided MPCL对于未标注数据没有 Ground Truth因此无法直接判断 pseudo-label 是否正确。作者利用有标签数据建立 Uncertainty↔Prediction Accuracy之间的对应关系。再把这一可靠 uncertainty interval 迁移到未标注数据中。也就是说如果在有标签数据中某一低不确定性区间通常具有很高准确率那么未标注数据中落入相同区间的 prediction 也认为更加可靠。然后利用这些可靠 pseudo-label 构建第二套 Prototype Bank并进行 MPCL。这就是论文所谓的Uncertainty-aware Cross-domain Alignment。使用的损失3.4 总体损失最终 TP-Net 的 Loss 为其中Ls​有标签数据的监督分割损失Lucps​不同上采样方式的 CPSLicps​不同初始化网络之间的 CPSLlpc​真实标签引导的多原型对比损失Lppc​可靠 pseudo-label 引导的多原型对比损失。因此 TP-Net 可以概括为多CPS一致性学习动态多Prototype可靠Pseudo−label对比学习​四、试验4.1 数据集论文使用两个公共数据集 一个包含自采数据的膝关节数据集。主要包括1、Knee Dataset共100例31例自采膝关节 MRI69例从 MRNet 随机选择。分割包括7类组织BoneMeniscusPatellar LigamentCartilageQuadriceps TendonCruciate LigamentsBackground。2、SPIDER脊柱 MRI 多器官分割数据。3、AbdomenCT-1K腹部 CT 多器官数据包括LiverKidneySpleenPancreas。全部数据按照7:1:2划分训练、验证和测试集。4.2 试验结果五、结论论文最终提出了一套面向真实异构医学数据的半监督多器官分割方法TP-Net。它解决了两个核心问题类间特征模糊​以及多来源数据类内分布分散​其解决思路可以浓缩为一个器官多个Prototype​用多个 Prototype 描述同一器官在不同医院、不同扫描设备和不同病例中的复杂分布再通过同类吸引 异类排斥​提高不同器官之间的可分性。同时利用 uncertainty 筛选可靠 pseudo-label使大量未标注数据能够参与 Prototype 学习。最终在Knee、SPIDER 和 AbdomenCT-1K三个异构多器官数据集上取得优异结果并通过自研的膝关节微创手术导航系统和 ACL 重建临床实验验证了实际应用潜力。