1. 从一次失败的病灶分割说起我去年接了一个皮肤镜图像分割的项目目标是自动勾画皮肤病灶区域。基线模型用的是U-Net在ISIC2018上能跑到0.82左右的Dice看起来还行但一遇到边界模糊、病灶和周围皮肤对比度极低的样本分割结果就惨不忍睹——不是漏掉一大块就是把正常皮肤也圈进来。折腾了两周换损失函数、调数据增强、加CRF后处理效果始终卡在原地。后来我做了一个关键动作把病灶区域按尺寸统计了一遍发现同一个数据集中小的病灶只有几十个像素大的能占满整张图的三分之一。U-Net这类编码器-解码器结构虽然擅长捕捉局部细节但对这种极端的尺寸差异非常敏感。这时候我想到了PSPNet里的金字塔池化模块PPM。PPM的思路很朴素用多个不同尺寸的池化核去感知整张图的不同感受野再把信息融合起来。它本来就是为解决场景中物体尺度差异大设计的放到医疗影像里恰好对症。这篇文章就围绕我在这个方向上做的实验展开从PPM模块的原理拆解到如何把它从PSPNet中拆出来适配医疗影像任务再到我在这基础上做的几组创新改进。如果你也在做医疗影像分割或者对PSPNet的落地应用感兴趣这篇文章应该能给你一些直接能上手的思路。2. PPM模块原理拆解它到底在解决什么问题2.1 全局上下文信息是怎么丢的要理解PPM的价值得先搞清楚语义分割模型的一个通病深层特征图里的语义信息很丰富但空间分辨率低。拿ResNet50做Backbone举例输入是512×512的图像经过5个stage下采样后最后的特征图只有16×16。这16×16的格子要代表整张512×512的图像信息每个格子实际上对应原始图像的32×32区域。问题就出在这里卷积核的感受野理论上是越深越大但实际训练中远处位置的上下文信息很难通过堆叠卷积层传递过来。尤其是小目标周围的大片背景、或者被病灶包围的正常组织这种局部看起来完全一样只有放大了看全局才能区分的情况普通卷积根本搞不定。我在实验里对比过一张典型样本病灶中心有一块颜色极浅的区域和周围正常皮肤几乎一模一样人眼都需要放大看纹理才能分辨。U-Net和普通FCN都会把这块漏掉因为网络只看局部特征根本没有这个颜色浅的区域被深色病灶从四面八方包围着所以它大概率也是病灶这种全局推理能力。PPM就是奔着这个痛点去的。2.2 金字塔池化的设计细节PPM的结构一句话就能说清楚输入一个特征图分别用不同大小的池化核对它做全局平均池化得到多个不同尺寸的特征图再通过1×1卷积压缩通道数最后上采样回输入尺寸和原始特征图拼接在一起。PSPNet原文里用的是1×1、2×2、3×3、6×6这4个池化尺寸。1×1就是全局池化输出1个格子代表整张图的最宏观信息6×6输出36个格子代表中等粒度的局部区域信息。每个级别的特征图经过1×1卷积后通道数都压缩到原通道数的1/4左右然后双线性插值上采样回原尺寸最后通道维度拼接。你可以把PPM理解成一组多倍镜全局池化相当于用肉眼看整幅图的整体氛围6×6的池化相当于把图分成36块逐块端详2×2和3×3则介于两者之间。网络自己学习每个尺度应该重点关注什么最后把不同倍镜下看到的信息汇总到同一个决策里。这种设计的精妙之处在于信息是分层的不是并列的——不同尺度之间的差异就是上下文关系的体现。2.3 三个超参数池化尺寸、压缩比、融合方式PPM本身结构极简但有几个超参数直接影响效果我逐个说下自己的测试经验。第一个是池化尺寸的集合。PSPNet原版用[1,2,3,6]我在医疗影像上试过调整成[1,2,4,8]因为医疗图像的尺寸通常比较固定病灶也相对集中更激进的金字塔层级能捕捉到更细致的局部上下文。后者在皮肤病灶上的Dice略微提升了0.3~0.5%但参数量和计算量都有增加。如果你资源有限不建议盲目增大池化尺寸可以先跑默认参数做基线再决定要不要调。第二个是1×1卷积的通道压缩比。原版是把每个池化分支的通道数压缩为原始的1/4。这个值很关键因为它决定了拼接后总通道数。如果压缩太多信息损失严重PPM形同虚设压缩太少参数爆炸训练变慢且容易过拟合。我测试过1/4、1/8、1/2三档1/4是最稳的训练收敛速度和最终精度都最均衡。第三个是融合方式。原版是直接拼接concat后面接一个卷积来融合。我试过把拼接改成逐元素相加add参数更少但精度略降。也试过在拼接后加一个SENet风格的通道注意力模块这个后面在改进实验里会详细说。3. 实验准备数据集、Backbone和Baseline3.1 为什么选皮肤镜和肺结节两个数据集为了让实验结果更有说服力我选了两种差异很大的医疗影像ISIC2018皮肤镜图像分割以及LIDC-IDRI肺结节CT分割。ISIC2018是皮肤病灶分割的经典benchmark图像都是RGB皮肤镜照片病灶形态各异、边界不规则、颜色纹理复杂。它的难点在于皮肤纹理的干扰、光照不均匀、以及病灶和正常皮肤的对比度差异大。LIDC-IDRI是肺部CT灰度图像病灶肺结节和周围组织的灰度值非常接近而且结节的尺寸变化极大——有的只有几个像素有的直径超过3厘米。这个数据集对多尺度上下文的要求比皮肤镜更高。两个数据集的双重验证可以说明PPM的改进效果不是只在某一类图像上偶然成立而是具有一定的普适性。3.2 Backbone选型ResNet50还是轻量网络做Baseline的时候我特意保留了PSPNet原版的ResNet50作为Backbone。原因是PPM的设计和ResNet的分层特征天然适配ResNet50输出的最后一层特征图语义最丰富PPM正是在这一层后面接的。不过医疗影像场景经常受限于显存我在实验中同步尝试了ResNet18和MobileNetV2作为Backbone。结论是ResNet50 PPM的组合在精度上优于ResNet18 PPM约2~3个百分点但显存占用也高出将近一倍。如果是做研究、跑实验直接上ResNet50如果要做落地部署建议在MobileNetV2这种轻量网络上先验证PPM还有没有收益——我自己的实验表明收益依然存在只是相对幅度略低。这说明PPM的增益和Backbone强不强关系不大它解决的是另一个维度的问题。3.3 复现PSPNet时最容易踩的三个坑PSPNet是2016年的模型放到今天的框架里复现其实很简单但有几个细节不处理好的话结果会差很多。第一个是预训练权重。如果直接随机初始化ResNet50开训模型收敛极慢最终精度也会低不少。正确做法是加载ImageNet预训练权重然后替换掉最后的全连接分类层。这里有个容易被忽略的点Backbone的BN层在加载预训练权重后batch size如果设得太小比如小于8BN统计量会变得很不稳定。我建议前几个epoch冻结BN层只训练后续的分割头等loss下降稳定后再解冻让BN重新适应医疗影像的数据分布。第二个是主损失函数和辅助损失的配合。PSPNet有一个辅助分支在Backbone的第四层而非最后一层旁路接一个分类器和主损失一起加权训练。这个辅助损失的系数原论文里设的是0.4效果很好。但我一开始测试这个系数时发现它对最终精度的敏感度没有想象中高——0.3到0.6之间差异都不大但删掉后精度会掉约0.5~1个点。如果不想调参保留0.4就行。第三个是上采样方式。PPM内部的每个池化分支特征图都要上采样回输入尺寸再接拼接。这里必须用双线性插值不能用转置卷积。转置卷积会引入额外参数且在池化后的稀疏特征上容易产生棋盘伪影影响分割边界质量。我在代码里把interpolation参数显式设成了bilinear避免某些框架默认行为不一致。4. 我的改进实验三条路线的尝试与对比4.1 路线一给PPM加通道注意力第一版改进是在PPM的每个池化分支里加入通道注意力机制类似SENet的squeeze-and-excitation。每个分支的特征图经过全局平均池化得到通道描述向量再经过两个全连接层生成每个通道的权重最后和原特征图逐通道相乘。这个思路的出发点很直接PPM的每个分支都承载了不同尺度的上下文信息但不同尺度对不同类别的贡献权重是不同的。比如大病灶更依赖全局池化分支的信息小病灶则更依赖细粒度分支的信息。通过通道注意力网络可以学会动态调整不同尺度的权重——相当于在每个分支上加了一个重要性开关让模型自行判断该信任哪个倍镜多一些。在ISIC2018上的结果是Dice从0.842提升到0.851提升幅度大约1个点。在肺结节上提升略小约0.4个点。结论是有效的但效果有限。我分析原因是PPM的各个分支本身就是互补的加注意力的收益主要来自抑制了无用的分支信息而非增强了有用的分支信息所以提升幅度不会太夸张。4.2 路线二和普通卷积做非对称多分支融合第二版改进借鉴了Inception的思想把PPM输出的多尺度特征送入几个不同扩张率dilation rate的卷积分支每个分支用不同的rate捕捉不同感受野最后再融合。这里的关键不是把模块做复杂而是让PPM的特征表达和后续卷积层级联起来。我在实验中设置了3个并行的空洞卷积分支扩张率分别是1、2、4kernel都是3×3。这样PPM输出的多尺度特征经过了三个不同感受野的卷积进一步提炼最后逐元素相加。这个结构在肺结节分割上有奇效Dice从0.781提升到0.803提升了2.2个点。原因可能在于肺结节是灰度图像边缘模糊程度高单纯的多尺度池化信息需要经过更精细的空间滤波才能被充分利用。空洞卷积正好提供了这种多尺度的空间滤波能力和PPM形成了很好的互补。不过这个结构的缺点是训练速度慢了不少因为3个空洞卷积分支并行计算GPU占用明显上升。如果你显存有限建议把分支的数量从3减到2。4.3 路线三把PPM和不同层的特征做多级融合第三个改进思路不是改PPM本身而是改PPM在整体网络中的接入位置。PSPNet只在Backbone最后一层接了PPM但医疗影像分割任务中深层特征的分辨率往往太低了即使经过PPM的上采样也难以恢复被过度压缩的空间细节。我参考FPN特征金字塔网络的思路在Backbone的不同stage后面都接了一个PPM然后把各个层的输出逐级上采样并相加。第3、4、5个stage输出的特征图分辨率不同但经过PPM处理后可以对齐到同一个尺度。这个改进在皮肤镜数据上效果最明显Dice从0.842提升到0.867提升了2.5个点。原因很好理解皮肤镜图像中的病灶边缘经常有细小的锯齿状突起这些细节在深层的低分辨率特征图里已经丢失了必须在浅层高分辨率特征上做上下文信息融合才行。但要注意多级PPM带来的参数和计算量是成倍增加的。我实测在单张1080Ti上推理时间从原来的每张约45ms增加到了80ms几乎翻倍。如果对实时性有要求这个方案需要谨慎考虑。5. 实验结果总览与分析5.1 量化指标对比我把Baseline和三种改进在ISIC2018和LIDC-IDRI两个数据集上的结果整理成了一张对照表方便大家直观对比模型ISIC2018 DiceLIDC-IDRI Dice参数量(M)推理耗时(ms)U-Net (Baseline)0.8200.75831.028PSPNet (ResNet50)0.8420.78146.545PSPNet 通道注意力0.8510.78547.247PSPNet 非对称空洞卷积0.8490.80352.862PSPNet 多级PPM0.8670.79671.380可以看到三种改进在不同数据集上各有优势没有绝对的最优方案。通道注意力提升温和但增加的计算量最小非对称空洞卷积对灰度图像、小目标占比大的场景更有优势多级PPM在精细纹理分割上表现最好但代价是计算量激增。如果你想要一个性价比最高的方案我的建议是在ISIC这类RGB图像上用多级PPM在CT这类灰度图上用非对称空洞卷积。5.2 可视化分析用注意力图看模型到底关注了什么为了搞清楚改进有效的原因我输出了PPM各分支的注意力图做了可视化分析。方法是把PPM每个池化分支输出特征图做全局平均池化得到每张图的注意力浓淡图叠加在原图上。明显能看出基准PSPNet在病灶中心区域会犹豫注意力在病灶和背景之间来回摇摆导致分割边界不干净。而加了通道注意力的版本注意力图明显更集中在病灶区域背景干扰被压制了。非对称空洞卷积的效果则更多体现在边界附近——注意力在病灶边缘形成了一圈清晰的轮廓线说明空洞卷积的空间滤波能力对边界精度的提升起了关键作用。多级PPM的可视化更有意思浅层PPM的特征更多表现为纹理细节深层PPM的特征更多表现为区域整体性两者互补叠加后模型同时拥有了看纹理和看整体的能力分割结果自然更准确。6. 踩坑记录与参数调优实战6.1 四个高频问题的定位和解决训练和调参过程中我遇到了不少问题挑几个典型的分享出来都是网上不太能搜到的细节。问题一加载ImageNet预训练权重后Loss不降反升。这个问题的根源是输入图像的尺寸和通道数不匹配。ImageNet预训练数据是224×224我用的是512×512虽然理论上网络能处理任意尺寸但BN层的统计量对输入分辨率很敏感。解决办法是在训练初期冻结BN层等网络适应该分辨率的分布后再解冻。同时建议做coarse-to-fine训练先用256×256的输入快速收敛再切到512×512精调。问题二Dice Loss和CrossEntropy Loss的组合权重如何选。我测试了1:1、1:2、1:5三种比例实验结果是Dice Loss占比过重会导致模型对边界过度敏感产生许多细碎的误分割区域而CrossEntropy占主导时模型倾向于预测大面积的高置信区域边界反而不够锐利。ISIC2018上最优组合是Dice和CE按1:2加权LIDC-IDRI上是1:1.5。没有通用答案建议你在自己的数据集上花半天时间扫一组权重。问题三小目标的Dice指标始终上不去。肺结节数据集中直径小于5毫米的结节占比接近三成这类目标在16×16或32×32的输出特征图上只有几个像素再怎么优化损失函数也很难让网络学会分割它们。我的应对思路是做一个尺寸感知的加权损失把每个样本按GT区域大小归入小中大三档给小样本更大的损失权重。这招让肺结节的整体Dice又涨了1个点左右。问题四显存不足。512×512输入 ResNet50 PPM 多级融合单卡12G显存直接爆掉。我最后的方法是梯度累积把batch size从8降到4累积2个batch再更新一次梯度训练效果和batch size为8基本等价。但要注意BN层在batch size过小时不稳定所以这个小trick适合在解冻BN之前用。6.2 冻结BN层的具体操作配置冻结BN层的实现方法很简单在PyTorch里遍历模型参数把BN层参数的requires_grad设为False同时把BN层的training属性改为Falsedef freeze_bn_layers(model, freezeTrue): for module in model.modules(): if isinstance(module, torch.nn.modules.batchnorm._BatchNorm): if freeze: module.eval() # 使用全局统计量不更新running_mean/var for param in module.parameters(): param.requires_grad False else: module.train() for param in module.parameters(): param.requires_grad True训练时配合一个scheduler前20个epoch冻结BN之后解冻。这个技巧听起来简单实际效果却很显著能明显加快训练收敛速度。6.3 数据增强的取舍什么样的增强对医疗影像有效医疗影像分割的数据增强不能照搬自然图像的方案。我测试过很多种组合结论是有三类增强对医疗影像特别有效一是随机旋转、翻转、尺度变化这些经典几何增强对皮肤镜和CT都很有用因为病灶的出现角度和大小天然就很多样。二是颜色抖动和对比度扰动对皮肤镜这种RGB图像很有效。皮肤照片受光照影响大同一病灶在不同亮度下拍摄结果差异很大模拟这种变化能让模型对光照鲁棒。三是对CT这种灰度图像窗口宽度和窗位的变化其实是最好的数据增强方式。我实现了一个随机窗口化的增强——在训练时随机改变CT值的显示窗宽窗位再输入网络效果等价于让模型看到多种对比度风格的同一幅CT。这个方法在LIDC-IDRI上提升了将近1.5个点非常值得一试。不建议用的是CutMix、MixUp这些自然图像上流行的混合增强。医学图像中的病灶区域形态对诊断意义重大混合增强生成的图像在语义上和真实病灶差异巨大实测对分割效果是负面的。7. 结合我个人的一些体会做了这一系列实验我最大的感受是PPM模块胜在结构简洁和解释性强不像很多注意力模块那样不可控性大。它解决的问题非常明确——多尺度上下文缺失。当你的分割模型遇到大目标边缘残缺、小目标漏检、误把背景当目标这几种典型问题时PPM是一个几乎零成本就能尝试的方案不需要大规模改动网络结构直接接在Backbone后面就能看到效果。我的建议是先用PSPNet原始配置复现一个基准然后把PPM换成你设想的改进版对比一两个数据集。做对比实验的时候记得保持Backbone、训练策略、数据增强完全一致只改你要验证的那个模块。这样做出来的结论才有说服力也能让你对PPM的理解更深入。后续如果继续在这个方向深挖我会往两个方向走一是PPM和Transformer结合用Transformer做池化特征间的空间关系建模二是把PPM设计成即插即用的轻量模块让它在3D医疗影像分割中也能用起来。希望这次的分享能帮你在医疗影像分割的实践中少踩几个坑。