简介基于自监督双路径网络的医学图像分割算法项目以完整源码形式打包发布面向医学影像分析领域的算法工程师、科研人员及高年级研究生目标是让使用者无需从头搭建模型即可复现并扩展分割流程。压缩包共包含19个文件整体约1.34MB涵盖4个Jupyter Notebook用于模型训练与演示、2个Python脚本实现网络结构和工具函数另有多张BMP/PNG样例影像和Markdown/Text说明文档属于轻量型可直接研读的项目包。目前已有135人学习下载。项目中双路径结构兼顾全局上下文与局部细节结合自监督预训练策略可在标注数据有限时学习有效特征附带的输入图像与中间结果截图便于对照理解README与依赖清单则降低了复现门槛依赖项少、目录精简适合在此基础上针对脑部CT、乳腺X光等具体场景二次开发。1. 自监督双路径网络这份医学图像分割源码到底该怎么读拿到一份医学图像分割项目源码第一步往往不是读模型而是先回答一个问题这个“自监督 双路径网络”的组合到底比普通 U-Net 强在哪。医学影像标注稀缺是常态自监督负责在没有标签的切片上学先验双路径则同时把“全局上下文”和“高分辨率细节”两条线索做进网络解决小病灶和大器官共存时的尺度矛盾。这套方案尤其适合影像组学课题、分割算法复现、以及只有几十例标注却想得到可用分割结果的场景。下面按“建模动机 → 自监督接入 → 参数与避坑 → 源码交付”一路拆开讲目标是让这份项目压缩包在你自己机器上跑通并知道每个按钮拧到哪。2. 双路径网络的分割任务建模为什么一条路径永远不够2.1 医学分割的尺度矛盾小病灶和大器官需要两套视野随便拿一张肝脏 CT 来看肝脏本身可能占满 512×512 视野的大半而肝肿瘤可能只有几个毫米。如果网络走的是经典编码器-解码器单路径连续四次 stride2 下采样之后特征图从 512 缩到 32肿瘤在最后一层特征图上往往只剩一个像素点。这个像素点要同时表达“这里是不是肿瘤”的类别信息和“肿瘤边界到底在哪”的空间信息基本不可能。这也是单路径结构在细粒度医学分割任务上翻车频率最高的原因。反过来如果只保留高分辨率特征图、不做深下采样感受野又不够。一个 stride1 的 3×3 卷积堆叠十层感受野也就二十几个像素难以区分“肝内血管”和“小肿瘤”这种局部纹理高度相似的区域。医学图像本身噪声大、器官形状复杂网络需要在足够大的上下文里判断结构语义又需要在像素级精度上恢复边界。单一路径往往只能在两者之间取一个尴尬的折中。双路径网络的设计动机正是把这个矛盾拆开一条路径负责语义上下文用较大的下采样倍数换取大感受野另一条路径保留高分辨率特征用较浅的下采样保护边界信息。两者在某一层或某几层融合再交给分割头。这种“全局语义路由 空间细节保真”的思路比在单条路径上堆注意力更直接也更适合医学图像分割这个任务。对一份标题里带“双路径网络”的项目源码最先要找的就是这两条路径分别在哪、从哪里开始分叉、又在哪里汇合。2.2 双路径分支的三种常见工程实现与源码辨别方法先说一个容易混淆的点图像分类里的 DPNDual Path Network是 ResNet 和 DenseNet 的融合强调路径复用与特征重用而医学图像分割标题里的“双路径网络”绝大多数时候指的是双分支语义分割架构例如经典 BiSeNet 的那一路——空间路径保持高分辨率上下文路径输出大感受野特征。拿到源码第一件事就是确认它属于哪一种读 model.py 里 forward 函数的两个分支即可判断。第一种是双编码器两个独立的分支网络并行处理同一输入一个浅而宽一个深而窄最后把特征拼接或相加。优点是两条路径的高度解耦各调各的缺点是计算量几乎翻倍单卡复现经常被显存卡死。第二种是共享 stem 后分叉输入先过几层共享卷积再分出一条继续下采样的上下文路径和一条保持分辨率的细节路径。这种结构更省显存是很多项目包采用的折中方案。第三种其实不是严格的双路径而是同一特征图上的多分支空洞卷积常被拿来做成 ASPP 风格的“多路径”如果源码里只有一个 encoder、却在 decoder 前出现多个 dilation 分支它更接近 DeepLabV3 的套路别被命名带偏。我拿到一个医学图像分割项目时一般按三个问题快速定位结构两个分支的 stride 是否不同融合点在第几个 stage融合前 feature map 的分辨率是多少两个分支是否共享底层 stem。把这三个答案写下来再去对照 config 里的 loss 和训练策略整个项目的主线基本就清楚了。对做这个标题方向的方案“双分支、不同下采样倍数、在 1/4 或 1/8 分辨率处融合”是最常见、也最容易复现的工程设计。2.3 评估指标先定好Dice、HD95 和边界差异医学图像分割的类别极度不平衡一张 512×512 的切片里前景可能只占 2%mIoU 会被巨大的背景拉高看起来不错却不能反映病灶分割质量所以绝大多数项目用 Dice 作为主指标。Dice 本质是预测集合与真实集合的重叠程度对类别不平衡不太敏感但它有个缺点它衡量的是“面积”重叠而不是“边界”重合。一个小的边缘锯齿或 2 毫米的整体偏移反映在 Dice 上可能只有 0.02 的下降肉眼却很容易看出分割结果跑偏了。为了补上这个盲区成熟项目一般同时报告 HD9595% Hausdorff 距离它度量两个边界点集之间的最大偏差能直接暴露“边界打歪”的问题。评估时建议同时盯着 Dice 和 HD95Dice 管整体重叠HD95 管边界最大误差。对小病灶分割场景还可以额外统计独立连通域级别的检出率防止网络只学会了把大器官轮廓画圆而漏掉角落的小肿瘤。下表是常用指标和注意点指标关注点常见阈值参考说明Dice预测与标注的重叠面积器官 0.9病灶 0.8类别不平衡下比 mIoU 稳定HD95边界最大偏差单位 mm器官 5 mm 可接受对边缘锯齿和小病灶偏移敏感连通域级检出率每个独立病灶是否被找到小病灶场景额外关注防止只分割大目标的假阳性训练过程中不要只看 loss 曲线我习惯每 5 个 epoch 保存一组 512×512 的 overlay 图把预测边界画在原图上肉眼巡查。很多在指标上看不出来的问题——比如网络把肝内血管误推成肿瘤、把低密度区域全部吃掉——在 overlay 图上一眼就能看到。这也是复现一份现成项目时最容易被跳过、但回报率最高的一步。3. 自监督预训练灌进双路径网络实现细节与最小可跑通代码3.1 自监督路线选型掩码重建还是对比学习自监督在这个项目里的任务是在没有分割标注的情况下先把双路径网络的两条分支初始化好。医学影像通常有大量未标注数据真正缺的是医生勾画的标签所以自监督预训练的成本往往只在算力而不是在数据上。主流路线有两条掩码重建和对比学习它们的偏好非常不同。掩码重建的大致思路是把输入切片随机遮掉一部分让网络从可见区域重建被遮住的像素。这个任务天然要求网络理解解剖结构和纹理连续性学到的特征空间对分割任务很友好Otto 的代价是计算量大因为输出分辨率要和输入一致。对比学习则把同一张切片做两次不同增强要求两条增广路径的特征表示尽可能一致计算消耗小学到的是全局不变性但对边界细节的刻画不如重建充分。在医学图像分割里如果标注量少、分辨率高我一般优先考虑掩码重建路线。在双路径网络这个特定结构里更合理的做法是让两条分支分工全局上下文路径去承担掩码重建任务因为它本来就要产生一个紧凑的语义特征高分辨率细节路径则保留全分辨率输入不做破坏性掩码最多做亮度、噪声等弱增广。两条分支之间用一致性约束拉近让全局分支学习到的语义信息以伪标签形式教给细节分支。这样既避免了对整张图做掩码导致细节信息被破坏又让两条路径各自学到互补的表征。3.2 用 PyTorch 搭一个最小双路径分割网络下面给一个能直接跑通的最小双路径分割网络结构上故意做得很简单方便你把注意力放在双路径的分工逻辑上。全局路径连续三次 stride2 下采样输出 64×64细节路径只做一次 stride2输出 256×256两者通过上采样和拼接汇合最后经过一层 1×1 卷积输出分割结果。import torch import torch.nn as nn class DualPathSegNet(nn.Module): def __init__(self, in_ch1, base_ch32, num_classes1): super().__init__() # 全局路径连续下采样感受野大负责语义上下文 self.global_path nn.Sequential( nn.Conv2d(in_ch, base_ch, 3, stride2, padding1), nn.BatchNorm2d(base_ch), nn.ReLU(inplaceTrue), nn.Conv2d(base_ch, base_ch*2, 3, stride2, padding1), nn.BatchNorm2d(base_ch*2), nn.ReLU(inplaceTrue), nn.Conv2d(base_ch*2, base_ch*4, 3, stride2, padding1), nn.BatchNorm2d(base_ch*4), nn.ReLU(inplaceTrue), ) # 输出 64x64输入 512x512 # 细节路径只下采样一次保留高分辨率边界信息 self.detail_path nn.Sequential( nn.Conv2d(in_ch, base_ch//2, 3, stride2, padding1), nn.BatchNorm2d(base_ch//2), nn.ReLU(inplaceTrue), ) # 输出 256x256 # 融合点把全局路径上采样 4 倍与细节路径拼接 self.fuse nn.Sequential( nn.Conv2d(base_ch*4 base_ch//2, base_ch*2, 3, padding1), nn.BatchNorm2d(base_ch*2), nn.ReLU(inplaceTrue), ) self.out_conv nn.Conv2d(base_ch*2, num_classes, 1) def forward(self, x): g self.global_path(x) # 全局路径输出紧凑语义特征 d self.detail_path(x) # 细节路径输出高分辨率特征 g_up torch.nn.functional.interpolate( g, size(d.shape[2], d.shape[3]), modebilinear, align_cornersFalse ) fused torch.cat([g_up, d], dim1) feat self.fuse(fused) return self.out_conv(feat)这个示例里最关键的两个参数是两条路径的下采样倍数和融合位置。全局路径下采样到 1/8细节路径下采样到 1/2这在 512×512 输入下是比较常见的设计。如果改成输入 256×256全局路径的输出会变成 32×32融合时分辨率更低需要相应减少下采样次数。base_ch32 是为了在普通显卡上跑得动显存充裕时可以翻倍到 64但参数量会近似以平方关系上涨慎调。把预训练接到这个网络上时常见做法是给全局路径额外加一个重建头让它在掩码输入下重建原始切片。重建头可以用一个简单的四层 decoder输出通道数等于输入通道数重建损失用 L1。只对全局路径做重建细节路径保留全分辨率再在两路特征上做一致性正则。这样自监督预训练结束后把重建头丢掉把两路特征接到分割头上做微调。3.3 NIfTI 数据读取、切片与统一 spacing医学图像分割项目里数据读取往往是整套代码里最容易埋雷的地方。医学影像通常以 NIfTI.nii.gz格式存储而模型训练需要的是 2D 切片。读取时要注意方向轴和 spacing举个例子同一个 CT 序列如果 z 轴方向遍历顺序反了模型会把“头侧”和“脚侧”学反推理时边界形状完全错误。import nibabel as nib import numpy as np def load_nii_as_slices(path): img nib.load(path) data np.asarray(img.dataobj) # NIfTI 原始轴序是 (x, y, z)这里转成 (z, y, x) 按轴向切片 vol np.transpose(data, (2, 0, 1)) # 去掉异常体素并用百分位截断这是 CT 预处理的常用手段 lo, hi np.percentile(vol, [0.5, 99.5]) vol np.clip((vol - lo) / max(hi - lo, 1e-6), 0, 1) return vol.astype(np.float32)spacing 指的是每个体素对应的物理尺寸。有的 CT 层厚 5 mm有的 1 mm如果直接把不同 spacing 的数据混在一起切成 2D 切片训练模型会学到一种扭曲的尺度感小病灶在插值过程中被抹平。常见做法是在数据加载时先统一重采样到目标 spacing例如把 xy 平面统一到 1mm×1mmz 轴按原始层厚保留。重采样用 SimpleITK 的 ResampleImageFilter 做别用 torchvision 的 resize因为后者不知道物理 spacing会引入各向异性误差。import SimpleITK as sitk def resample_volume(image_path, target_spacing(1.0, 1.0, 1.0)): img sitk.ReadImage(image_path) orig_spacing img.GetSpacing() orig_size img.GetSize() new_size [int(round(s * o / t)) for s, o, t in zip(orig_size, orig_spacing, target_spacing)] resampler sitk.ResampleImageFilter() resampler.SetOutputSpacing(target_spacing) resampler.SetSize(new_size) resampler.SetInterpolator(sitk.sitkLinear) return resampler.Execute(img)这段代码里new_size的计算是重采样核心每个维度的新尺寸 旧尺寸 × 旧像素间距 / 新目标间距。对医学 CT目标间距一般设在 (1.0, 1.0, 原始层厚)这样xy 平面统一分辨率z 轴不强行插值避免制造虚假信息。缓存重采样后的数组到内存可以显著加快训练因为 NIfTI 读取本身有压缩解压开销每 epoch 都重新读一遍很浪费。4. 自监督双路径网络的 4 个必调参数与 5 个避坑记录4.1 最值得调的四个参数范围与调参方向自监督双路径网络比普通分割网络多出好几个设计自由度调参时不要盲目 grid search掌握以下四个参数基本就能控制住大部分行为。第一个是掩码比例 mask_ratio掩码重建型自监督里如果遮掉太多医学结构网络会变成纯粹的像素插值器学不到语义。自然图像 MAE 常设 0.75但医学图像上我一般调低到 0.25~0.4小病灶越多的数据集越要低否则病灶区域被整块遮住重建任务退化成猜空洞。第二个是融合点位置。融合越靠近输入细节越充分但语义抽象程度不足融合越靠近输出上下文越强但高分辨率信息越少。我常用的起点是让融合发生在分辨率降到 1/4 或 1/8 的 stage然后比较两个候选位置在验证集上的 HD95 差异。第三个是预训练损失中重建 loss 和一致性 loss 的权重。两者权重比从 1:1 到 2:1 之间调细节边界差就加重重建权重语义混乱就加重一致性权重。需要注意的是一致性 loss 应该在训练后期再启用或做 warmup否则一开始就把全局分支的噪声伪标签传给细节分支会直接污染细节表征。第四个是微调时的学习率分配。自监督预训练通常用 1e-4 级别学习率跑得比较稳微调分割头时建议把 backbone 层学习率设在 1e-5~5e-5分割头学习率放 1e-3两者相差 10 倍以上。这样在保留预训练特征的同时让分割头快速适配标签。如果发现微调初期 loss 震荡剧烈先把 backbone 学习率再降一半比换优化器更有效。参数位置常见区间调参方向mask_ratio自监督掩码配置0.25 ~ 0.4小病灶多则调低融合点网络 forward 结构分辨率 1/4 或 1/8 处病灶小则提前融合重建与一致性 loss 权重预训练损失配置1:1 ~ 2:1边界差则加重重建微调 lr 分组优化器参数组backbone 1e-5~5e-5head 1e-3震荡则降低 backbone lr4.2 五个真实踩坑记录从预训练不涨到单卡跑不起来第一个坑预训练 loss 明明在降分割指标却纹丝不动甚至掉点。现象很常见200 个 epoch 的自监督跑完同样微调 100 epochDice 比从零训练还低。原因是掩码策略直接抄了自然图像的随机大块 mask把解剖结构整块盖住网络学到的是插值而不是语义重建 loss 和分割任务之间没有建立起有效联系。解决方法有两个一是把 mask_ratio 降到 0.3 以下并改用小块掩码二是只对全局路径做重建细节路径保持全分辨率输入同时用一致性 loss 把两者绑在一起让重建学到的东西真正流向分割分支。第二个坑显存暴跌到 batch size 只能开到 2。双路径网络参数接近翻倍特征图又同时保留两份翻车点是显存。现象是 RuntimeError: CUDA out of memory。原因是细节路径通道数设置过高全局路径和细节路径的特征图在融合前都驻留在显存里。解决时先砍细节路径的通道数一半就行再用 gradient checkpointing 把每层的激活值重新计算。这两步一般能把 batch size 从 2 拉到 6 左右代价是约 20% 的训练速度但对快速验证论文结构来说值得。第三个坑小病灶在结果里完全消失。现象是验证集 Dice 看着不低但单独检查时发现 5 mm 以下的肿瘤全没检出。原因往往是数据预处理阶段没有统一 spacing0.5 mm 分辨率的薄层 CT 和 2 mm 分辨率的厚层 CT 混在一起训练小病灶被各种 resize 抹平。解决方法是把训练数据统一重采样到目标 spacing并且在增强阶段固定插值方式不要在 xy 平面用随机缩放。重采样后记得把标注 mask 也用最近邻插值同步变换否则标签会被线性插值抹出非 0/1 的中间值。第四个坑验证 Dice 95%画出来完全不能用。这是评估阶段的坑现象是滑窗推理时窗口重叠率设太低或者只评测了 z 轴中段的切片把器官边缘和上下极端的困难切片全排除了。原因很好理解推理时相邻窗口没有重叠边界处的预测连续性差评测子集选择偏向简单样本。解决方法是把滑窗 overlap 设到 0.25~0.5同时评测全部切片而不是抽中间部分报告里同时给 Dice 和 HD95。用这些标准重新评估后很多模型的真实水平会明显低于 README 里声称的数字这也是复现项目时最常碰到的“指标诈骗”。第五个坑项目用多卡 DDP 写死单卡用户直接跑不不了。现象是执行python train.py后报错RuntimeError: Distributed package doesnt have NCCL built in或Address already in use。原因是源码用torch.distributed.launch硬编码了分布式启动方式而单卡环境没有对应的 rank 和 world size。解决方式是在入口处做一个 fallback 判断代码模式如下import os if int(os.environ.get(WORLD_SIZE, 1)) 1: # 多卡分布式训练 model nn.parallel.DistributedDataParallel(model, device_ids[local_rank]) else: # 单卡直接跑省去 DDP 初始化 model model.cuda()这种改动不涉及模型结构只影响启动路径是复现源码时最低风险的补丁。如果项目里用了torch.distributed.launch的 shell 脚本单卡可以直接用python -c from train import main; main()绕过分布式初始化前提是 main 函数里已经做了 WORLD_SIZE 判断否则还是要补上面这段代码。5. 源码交付实战让这份项目包在别人机器上也能跑通5.1 先跑单样本 sanity-check 再谈复现把一份医学图像分割项目源码发给别人最怕的不是算法不够好而是对方解压后跑不起来。这个问题和前端圈常问的“vue 项目源码怎么发给别人”本质上一样代码在你这儿能跑环境一变就翻车。医学分割项目翻车概率更高因为还叠加了数据路径、spacing、显存这些额外变量。我现在的习惯是交付前先写一个单样本 sanity-check 脚本固定一张输入切片跑一个 forward 和 backward断言输出 shape 正确、loss 是有限数值、推理结果里至少包含一个前景连通域。这个 sanity-check 脚本一般放在项目根目录的sanity_check.py它做的事非常小构造一个随机 4D 张量batch1channel1512×512通过模型得到 logits计算 loss 并回传梯度最后用 torch.onnx.export 或者简单输出 shape 确认结构没有坏掉。它的价值在于把“环境是否可跑”和“算法效果好坏”两件事拆开。如果这个脚本在新机器上跑不通问题一定出在环境、路径或版本而不是训练技巧一旦脚本通过再进入真正的训练流程。这个习惯救过我很多次尤其是别人反馈“你的代码跑不起来”的时候能快速定位是 PyTorch 版本问题、NCCL 问题还是数据路径写死问题。5.2 路径、权重和版本的“发货”检查清单交付医学图像分割项目源码前我会按一份固定清单检查全是血泪换来的。第一代码里不许有绝对路径。 dataset.py 里不要出现/home/xxx/data这种硬编码统一用Path(__file__).resolve().parent.parent / data推导项目根目录这样压缩包解压到任何位置都能找到数据。第二自监督预训练权重和微调权重分开存放并在 README 里写清它们的对应关系。医学图像分割项目经常出现“权重文件有但对不上当前网络结构”的问题加载时直接 shape mismatch。第三在 requirements.txt 里注释出已验证的组合比如torch1.10、torchvision0.11不追求最新版本只保证这个组合确切能跑通。第四提交时把训练输出重定向到文件而不是只打 stdout训练日志里记录每个 epoch 的 Dice、HD95 和 loss方便复现者比对。第五如果用到外部预训练权重单独提供下载脚本而不是在代码里写死一个 URL避免链接失效后整个项目不可复现。这些细节看似与分割算法无关但决定了源码交付后对方能不能在第二天跑出同样结果。对医学图像分割这种对数据格式敏感的领域源码交付的本质是交付一套完全确定的环境和流程而不是几段网络代码。5.3 交付的边界也说清楚源码交付还要说清楚一件事哪些指标是自监督预训练带来的哪些是双路径结构带来的。很多复现者对这个项目感兴趣就是因为想知道自监督到底能省多少标注。做交付时可以在 README 里放一张小表同一套双路径网络下有预训练和无预训练的 Dice 差异同一套自监督策略下单路径和双路径的 HD95 差异。这两组对照实验跑起来很贵但对使用者的判断价值极高也最能体现这个项目的核心贡献。如果时间不够至少把预训练 checkpoint 和微调脚本分开交付让对方能选择“直接微调”还是“从零训练”。我现在拿到任何这种医学图像分割项目包第一件事就是跑 sanity check跑不通就先不碰模型预训练权重加载不上就先看 shape mismatch 的具体报错而不是怀疑算法本身。把“能跑”和“好用”分开才能把时间花在真正值得调的地方。希望帮到你。本文还有配套的精品资源点击获取