工业缺陷检测这个方向做过的朋友都知道最折磨人的往往不是模型选型而是你坐在电脑前对着甲方发来的一个压缩包里面躺着一百多张图片其中带缺陷的只有四十几张还要检测七八种不同类型的瑕疵。训练集比验证集还小分类任务里有的类别就三五张图这种项目如果直接套用常规的深度学习训练流程结果基本可以预料训练集上loss根本降不下去验证集上指标忽高忽低到了现场一跑漏检率直接让产线负责人脸色发青。这几年我陆续做了几个类似的案子从3C屏幕划痕到金属件表面缺陷从纺织物瑕疵到电池极片露箔总结下来小样本条件下的工业缺陷检测真正要解决的不是某一个模型多聪明而是整套流程里怎么把有限的数据用出最大价值同时在漏检这个红线上做好兜底。这篇文章就把这套完整流程拆开来讲包括我在实际项目里踩过的坑、反复调整过的方案以及最终稳定落地的一套做法。1. 为什么小样本在工业缺陷场景里是常态而不是意外很多从公开数据集入门的朋友对缺陷检测的第一印象是数据量大、标注充分像是工业检测领域常用的公开数据集一个类别动辄几千张图。但真实产线根本不是这么回事。我之前接过一个连接器端子外观检测的项目甲方给的初始样本是两百多张良品图和三十几张不良品图不良品里又分了毛刺、压伤、镀层不均、偏移四类最多的类别十几张最少的类别只有六张。这种情况不是个例而是工业缺陷数据的基本盘。1.1 工业场景下缺陷样本天然稀少的三个原因第一个原因是缺陷本身就是低概率事件。正常产线的缺陷率控制在百分之一以内甚至千分级这意味着要收集几千张真实缺陷图你得连续盯产线跑很久而且中间还伴随着产品型号切换、工艺参数调整收集到的样本分布还未必稳定。第二个原因是缺陷类型高度碎片化。同样是划痕不同深度、不同方向、不同光源角度下呈现的形态差异很大同样是气泡直径从0.1毫米到2毫米都有。每一类缺陷的样本内部差异大但类间样本数量却很少这让模型很难学到稳定的类内共性。第三个原因是标注成本被严重低估。工业缺陷的标注不是画个框就完了很多缺陷需要像素级分割标注才能支撑后续的检测精度比如锂电池极片上的露箔区域、织物上的断经纬边界模糊、对比度低一个有经验的标注员一天能精标两百张已经算快了而一个项目动辄需要几千张时间和人力成本大部分项目扛不住。1.2 小样本情境下传统训练流程为什么必然翻车直接用常规流程训练目标检测网络在小样本下会面临三个连环问题。首先是数据增强的边际效应递减——旋转、翻转、裁剪这些基础增强确实能增加样本量但工业缺陷对几何变换的容忍度有限比如一个特定方向的划痕翻转之后在真实产品上可能根本不存在模型学到了一个物理上不成立的模式。其次是类别不平衡被放大少数类的损失在总损失里占比太低网络倾向于把所有目标都预测成多数类表现在结果上就是某个缺陷类型的召回率极低。第三是验证集本身就不靠谱三十几张测试图里有一两张误检指标波动就能达到三到五个点你很难判断模型是真的变好了还是碰运气。所以小样本工业缺陷检测的第一步不是急着调模型而是先想清楚我们能不能通过改变问题定义方式让这个小样本问题本身变得更大、更好。2. 把问题重新定义从目标检测到语义分割的降维打击我在几个项目里做过的效果最显著的一个调整是把问题定义从目标检测切换为语义分割配合经典图像处理算法做前置筛选。这个思路听起来反直觉——分割不是比检测更复杂吗但在某些特定缺陷场景下分割反而更简单。2.1 为什么切换任务定义能缓解样本压力以金属表面的压伤缺陷为例。一个压伤区域和周围正常表面在纹理、反光特性上有明显差异。如果做目标检测你需要告诉模型哪里是一个完整的缺陷目标模型需要学习的是缺陷的完整边界和形状语义这在样本少时很难学准。但如果你换成语义分割模型只需要逐像素判断这个像素是不是缺陷这是一个二分类问题特征判别空间比完整目标检测小得多。更关键的是二分类语义分割可以利用大量的良品图参与训练——甚至可以说良品图就是一种天然的负样本。在很多项目里良品图是不缺的产线随便一拍就是几千张而且不需要标注。我们只需要用无监督方式让模型学习正常样本的分布特征然后检测异常偏离。我之前的连接器端子项目最终稳定运行的主模型就是这条路线用两百多张良品图训练一个重建模型缺陷区域因为偏离良品分布而被高亮标出效果出奇地稳定。2.2 工业场景里两种主流的小样本技术路线对比实战中我能拿出手推荐的技术路线主要有两条它们的适用场景、成本和效果差异很大我建议根据实际缺陷特征来选择而不是一味追新。对比维度经典图像处理统计特征深度学习分割/重建样本需求无需缺陷样本只需良品基线数十张缺陷图即可启动可解释性高每个检测规则可追溯低需要额外的可视化与分析手段环境适配性对光照、角度变化敏感需要严格固定环境通过数据增强和归一化具有一定泛化能力缺陷多样性只能检出已知形态的缺陷可学习偏离正常的抽象特征落地维护成本规则调整简单现场可改需要模型迭代现场改规则依赖工程团队在连接器端子的项目里我最开始用纯传统算法做了一套压伤检测——基于局部灰度方差和梯度方向的统计规则准确率还行但换了料号之后规则就要重新标定非常痛苦。后来改成深度学习重建方案一个模型扛住了三个料号泛化性完全不一样。2.3 一个容易捡漏的中间方案经典算法做候选区挖掘深度模型在小样本下还有一个容易被忽视的痛点——正负样本极度不平衡导致初始训练不稳定。一个非常实用的土办法是先用经典图像处理算法在每张图上挖出候选缺陷区域然后只对这些区域做分类或分割训练。这样做有三个好处一是大幅减少了背景干扰模型学的每一块区域都是有可能出问题的区域二是可以将逐像素分类问题退化为区域块分类问题对标注精度的要求降低了三是数据量虽然没变但每个样本的有效信息密度提高了模型收敛速度快了不止一个量级。3. 小样本训练全流程实操从数据策略到模型收敛说完了思路下面进入硬核实操环节。我直接以一个小样本钢材质表面划痕检测项目为例样本情况30张划痕图200张良品图完整串一遍数据准备、训练配置和收敛调优所有参数都是实际跑过的可直接参考。3.1 缺陷样本增强的伪命题先保真再数量很多人拿到30张划痕图第一反应是疯狂做数据增强。但我必须泼一盆冷水——数据增强不是越多越好尤其是工业缺陷。划痕方向和材质纹理之间存在物理相关性比如钢材在轧制方向的划痕才是真实缺陷垂直方向的划痕在实际产线上根本不会出现模型学了就等于学了错误先验。我实际用的增强策略分两层。第一层是保真性增强只用小角度旋转±10°以内、轻微缩放0.9到1.1倍、亮度扰动±15%因为这些变换不会破坏缺陷的物理结构。第二层是多样性增强通过人工合成新缺陷样本来补充数量——比如对已有的划痕分割掩膜做局部扭曲、拼接、融合到良品图上。这里分享一个个人比较推荐的经验比例真实缺陷图和合成增强图的比例控制在3比7以下比较合适合成图的物理保真度有限如果占比过高模型容易形成错误的纹理先验。打个比方数据增强就像给模型喂仿真食材你可以用合成材料来填饱肚子但如果全是仿真的模型就会把仿真味当成食材本味上了真实产线一碰到真实光线就露馅。3.2 模型选型与骨干网络初始化策略小样本场景下模型选型的核心原则是容量适中、初始化可靠、收敛快速。以分割网络为例Unet这类结构在小样本下比DeepLabV3这类大容量模型更稳因为参数少不容易在小数据上快速过拟合。这里还涉及一个很多新手容易忽视的细节——backbone的初始化方式。如果直接用随机初始化几十张样本根本撑不住骨干网络的收敛用ImageNet预训练权重初始化又面临工业图像和自然图像领域差异大的问题。我的做法是分两段走先用无监督对比学习在项目自己的良品图像上做一次自监督预训练让骨干网络先学会看清楚钢材表面长什么样再加载到分割模型里用标注数据做有监督微调。这一步在白话里就是让模型先在没有标签的数据里看熟自己将要工作的环境再从几十张带标签的图里学什么样的变化算缺陷。经过自监督预训练的模型比直接用ImageNet权重初始化的模型在少样本下的收敛速度和最终精度都有明显优势实践下来mIoU能提升三到五个百分点左右。3.3 损失函数组合与收敛判定的实操配方小样本分割训练中单一损失函数经常出问题样本里前景像素可能只占全图的1%甚至不到直接用交叉熵模型会学成全图都预测为背景因为这样损失就已经非常小了。Focal Loss能缓解类别不平衡但和Dice Loss配合使用时训练初期的梯度波动会比较大。我最终稳定下来的方案是主损失用Focal Lossgamma2.0alpha0.75辅助损失用Dice Loss权重系数0.3到0.5两个损失相加作为总优化目标。这样Focal Loss负责对困难像素进行聚焦训练让模型优先学习那些像缺陷又不太像缺陷的像素Dice Loss则直接优化目标区域的重叠度相当于让模型从全局结构上去逼近真实缺陷的轮廓。训练策略跟着配套调整batch size设置到最大我用4到8学习率初始1e-3搭配余弦退火调度。尤其要强调的是不要在半途轻易降低学习率突然微调小样本模型的训练曲线本身就抖频繁调学习率容易让模型陷入局部振荡。另外还有一个判断模型是否收敛的独特经验在验证集上不能只看mIoU还需要额外看小目标召回率这个指标。很多模型mIoU看着还行但细小的缺陷比如小于20像素的划痕区域全漏了因为它们在损失里占的比重太小。建议在训练过程中单独统计这一类指标的曲线如果连续二十个epoch没有提升那就该考虑调整损失权重或引入辅助分割头了。3.4 常用的两个作弊级样本补充技巧除了模型和数据增强这里聊两个实操中效果非常大的样本补充技巧虽然上不了台面但确实解决问题。第一个是背景抠图融合。取一批真实的良品图将缺陷掩膜区域从原始缺陷图里精细地提取出来然后以随机位置、随机角度、随机光照扰动的方式融合到这些良品图上。这就相当于在物理规律允许的范围内让缺陷样本的多样性呈几何级增长。我当时给钢材划痕项目做了五百多张合成样本配合30张真实样本一起训练模型在真实划痕上的召回率直接翻了一倍。需要注意的细节是融合时缺陷区域要加羽化边且颜色和阴影过渡要尽量自然不然模型学会的判别特征是这有一块边界生硬的区域而不是划伤纹理本身现场一换光照就失效。第二个是切图扩样。很多工业相机拍出来的图像分辨率非常高比如一张500万像素的图里缺陷只占据中间一小块。直接把整图resize到模型输入尺寸一般是512x512或640x640缺陷会被缩得很小本质上是人为增加了检测难度。正确做法是用滑动窗口把大图切割成多张512x512的小图每个小图独立参与训练缺陷分布在不同的子图里。这样做既增加了有效样本数量又保留了缺陷在原始尺度下的特征细节。实践下来切图带来的收益经常比复杂的网络结构改动更明显。4. 漏检控制的闭环阈值、级联、回归测试与现场迭代小样本模型练得再怎么好也不可能达到100%召回。在工业现场漏检不只是指标不好看而是实打实的客诉和损失。所以控制漏检必须上升为整个系统的核心设计目标。这一章我分享一下怎么从流程机制上把漏检率压到最低。4.1 置信度阈值不是拍脑袋定的从代价矩阵反推很多团队定阈值时习惯把置信度设到0.5或者0.8觉得分数高才判定为缺陷更安全。但从实际业务视角看这是混淆了误杀和漏检的代价关系而且是完全相反的。在缺陷检测场景漏掉一件缺陷品的代价非常高客户投诉、批次召回、退货而把良品误判为缺陷的代价相对低一些。因此系统的检测阈值应该根据漏检代价和误杀代价的相对高低来调节。我习惯用代价矩阵的思路来推阈值设M为漏检一件缺陷品的损失包括客诉、返工成本O为误杀一件良品导致的损耗包括补货成本、停线检查成本。如果M远大于O那么阈值应该向下调宁可多一些误检也尽量不让缺陷漏过。极端情况下比如医疗器械检测、航空航天部件检测阈值甚至可以调到0.1乃至更低——这样带来的高误检率通过后续人工复检来消化这是工业现场常用的先抓取、再确认思路。我建议做决策曲线分析来定阈值把模型在验证集上的置信度从低到高扫描一遍画出一条漏检率-误杀率的变化曲线然后结合产线对两种代价的承受能力选择曲线上的最优点。有次我做PCB板缺件检测最初把阈值定在0.85跑到产线上连续三天都出现漏检。后来我把阈值降到0.55误杀率从0.3%涨到1.2%但漏检率直接降到了零配合端头工位的复检流程顺畅跑了下来。这个案例里轻视代价平衡而执着于高阈值是很多算法工程师在现场容易犯的错位。4.2 级联模型结构用轻量初筛保证不漏用精修模型控制误杀工业缺陷检测还有一个常见矛盾要保证低漏检单模型的召回策略就得放得很宽结果误检也直线飙升。解决这个矛盾我非常推荐用级联结构这是我在多个项目里验证过的、经济效益最明显的系统框架。第一级是粗筛模型目标只有一个把可疑区域全部捞出来宁可错杀一千不可放过一个。这个模型不追求像素级精确只需要输出候选框或候选区域所以可以用分辨率较低、速度快的模型对光照变化不敏感、对小目标召回率高的模型来承担。这一步的目的是保证召回率没有被任何信息损失掉。第二级是精修模型对第一级输出的所有候选区域再进行精细分类/分割目标是剔除误检、精确定位缺陷。因为第二级只看小块候选区域输入分辨率可以放大分类信息更充足精度可以做得比较高。我碰到过一个铸件气孔检测案例第一级用了一个经典的局部阈值分割算法配合形状规则过滤虽然会挨个把气泡痕、脏污等当成潜在的气孔挖出来但确实没有任何漏检第二级用一个小型卷积分类器对第一级给的候选块做是否真实气孔的二分类最后整体误检率压在0.05%以内且缺陷召回率达到99.7%。这套方案不需要在同一个模型里同时兼顾高召回和低误杀任务解耦后两边各自都能发挥上限。4.3 回归测试集是漏检控制的最后防线控漏检还有一件非常重要的工程化的事情就是建立回归测试集。注意这个回归测试集必须和验证集分开专门用于上线前后做系统性回归检查。回归测试集的建立标准覆盖产线跑过的所有缺陷类型包括历史漏检样本、实际产线上出现过的疑难缺陷。包含不同光照条件、不同来料批次、不同机台震动状态下的图像因为工业现场的成像环境经常变化。持续补充每出现一次新的漏检立刻把该样本加入回归测试集确认修复后重新跑一遍完整回归。我习惯每次上线前跑一遍回归测试输出的指标不只看整体mIoU还要逐类看召回率。尤其在模型更新、参数调整之后哪怕其它类别指标涨了某一类缺陷的召回率掉了一个百分点我都不会让这个版本上线。有没有想过一个看似无害的模型改进可能会悄悄牺牲掉某一类罕见缺陷的召回率在实际产线上这类罕见缺陷反而往往是最致命的风险点。4.4 现场漏检样本的闭环迭代机制最后是一个必须在流程上落实的机制从现场持续收集漏检样本回到训练集做增量迭代。车间里的情况总是和离线数据集有差异——新物料批次、新工艺、新光源角度都会产生模型没见过的缺陷形态。很多团队把模型部署上线之后就当完成了然后过了两三周接到产线反馈说最近漏检变多了才重新回来救火。正确做法是针对每次漏检做根因分析是模型判断失误还是本来就不在检测定义范围内是成像条件变了还是缺陷形态是新的根据根因定向补充训练数据或调整流程然后回归测试、重新上线。在这个环节里一个更聪明的做法是设计一个漏检挖掘的在线策略在产线上定期跑一个独立的、低阈值的高召回模型把所有可疑目标都标出来让人工复检其中被确认为缺陷但被主模型漏掉的样本全部回流到训练集。我最近的电池模组焊缝检测项目就用上了这个策略上线一个月后通过持续回流迭代主模型在原有缺陷类型上的召回率提升了将近两个百分点还顺带学会了识别两种新形态的焊缝气孔——这个成长速度靠纯离线开发是不可想象的。5. 验收指标的设计陷阱别让离线指标欺骗了你小样本工业缺陷检测项目还有一个特别容易翻车的环节——验收。经常出现的情况是离线测试集上Recall、Precision都很好模型一到现场就拉胯。这背后的原因值得专门立一个章节来讲。5.1 离线测试集和现场真实分布之间的三大鸿沟第一大鸿沟是背景分布漂移。离线测试图是白天拍的现场是夜班灯光下离线测试的产品来料批次是A供应商现场已经切到B供应商。这些变化对图像分布影响极大尤其在小样本下训练集覆盖不了真实的背景多样性。第二大鸿沟是缺陷形态分布不匹配。离线数据里常见的缺陷形态在真实产线上可能只占50%剩下50%都是模型没见过的变体。小样本训练出来的模型对见过形态能识别对形态偏移往往彻底失效。第三大鸿沟是置信度校准失效。小样本模型的置信度输出往往不可靠模型可能对某个真实缺陷给出了0.4的低置信度——但从业务角度看它的特征已经完全符合缺陷定义了低的置信度反映的是数据稀缺带来的不确定性而不是它不是缺陷的证据。5.2 一套我实际在用的验收指标体系基于这些教训我建议在验收项目时使用下面这套指标体系而不是只盯着mIoU和Precision/Recall指标维度具体指标验收目标缺陷召回率分类型召回率每类都要看每一类都不低于业务要求的阈值小目标召回率像素数小于50的缺陷召回率单独统计目标不低于大目标召回率的90%误杀稳定性每千件产品误杀数低于产线容忍上限跨批次稳定性不同来料批次分别统计指标各批次间指标波动不超过20%置信度分布真实缺陷的置信度分布直方图不应出现大批真实缺陷集中在阈值附近的情况这套指标的核心逻辑是验收不能只看平均成绩必须看极端情况和分布情况因为小样本模型的短板恰恰体现在低资源类别和边界案例上。平均分再漂亮都掩盖不了某一类缺陷的召回率只有五成的问题。5.3 一个关于置信度分布的独门观察技巧这里分享一个比较独门的观察技巧。模型训练完成后把验证集里所有真实缺陷的置信度做成一张直方图如果大量真实缺陷的置信度集中在0.3到0.6之间说明模型对缺陷判定其实很犹豫哪怕当前阈值恰好能筛掉它们只要环境稍有变化这些样本就会大量静默进入漏检区间。这种情况就需要谨慎上线。反过来如果真实缺陷的置信度大多集中在0.9以上和误检样本通常在0.2以下之间有明显的间隔带说明模型学到的特征区分度好此时哪怕小样本部署底气也会足很多。我会根据这个分布特点决定是否要让模型上线以及是否需要调整数据策略这比单纯看分数靠谱太多了。6. 其他实战经验杂谈从数据标注到现场部署的提醒最后再聊一些散装经验。虽然题目叫全流程但很多细节没办法展开这部分就当是补充贴士都是我真实碰过的。数据标注阶段尽量不要直接画矩形框。生产环境中建议用分割掩膜标注多花一点时间但在小样本训练里掩膜标注带来的信息量远大于矩形框。在合成样本阶段如果标注了分割掩膜做背景融合、切图、畸变增强都会灵活很多。如果一个项目已经画完了矩形框但没掩膜也可以用分割一切这种通用模型辅助生成掩膜再由人工校对——这招我用到过不少项目里效率提升明显但注意要人工检查小缺陷区域这类通用模型对细微缺陷经常丢细节。训练阶段class weight不要按样本数量反比来设置这样对极少数类会设置过高的权重容易导致过拟合。推荐的做法是把权重上限设在一个范围内比如1到5之间宁可让少数类欠拟合也不让它过拟合。部署阶段记得在推理前端做一个图像质量预检——现场经常会有镜头脏污、光线突变、传输抖动的情况一张模糊图进模型输出结果本身就是噪音。加上一个简单的清晰度和亮度判别模块把质量不合格的图直接拦下来报警可以让整个系统的稳定性上一个档次。还有一个容易被忽略的工程点模型更新机制。小样本项目不可能做一次就一劳永逸所以部署架构上务必设计好版本管理和灰度发布。我习惯的做法是保留旧版本模型做AB对比新版本先在一条产线跑一周用前面说的回归测试集比对两版的差异确认新版有明确优势后才全量切过去。有些团队图省事直接热更模型出了问题想回滚都找不到老权重现场会很被动。最后说一个认知上的调整。小样本工业缺陷检测没有那种一套方案搞遍所有项目的银弹最好的状态是对经典图像处理和深度学习的边界有清晰认知对不同任务重新定义问题的能力足够灵活并且始终守住系统级防漏检的底线。做到这三点即便手头只有几十张缺陷图也能做出让产线真正信任的检测系统。