论文题目An automatic inspection system for the detection of tire surface defects and their severity classification through a two-stage multimodal deep learning approach基于两阶段多模式深度学习的轮胎表面缺陷自动检测及严重程度分类系统期刊Journal of Intelligent Manufacturing摘要在轮胎制造领域对不打折扣的产品质量的追求是基石。本文介绍了一种创新的多模式方法旨在通过对立体光度摄像机获得的数据进行深度学习来实现轮胎质量控制过程的自动化立体光度摄像机精心集成到专门构建的复杂轮胎采集系统中能够全面捕获所有轮胎区域的数据。所寻找的缺陷在大小(从几毫米到几十厘米不等)和类型(包括加工过程中的异常污渍、脱模问题造成的痕迹、异物颗粒、气泡、变形等)上表现出显著的差异。我们提出的方法包括两个不同的阶段初始实例分割阶段用于缺陷检测和定位随后是基于严重程度的分类阶段将从第一阶段的检测网络中提取的特征与轮胎元数据相结合。实验验证表明该方法达到了自动化目标在缺陷检测和根据严重程度分类方面取得了令人满意的结果根据轮胎区域的不同F1得分在0.7到0.89之间。此外这项研究提出了一种适用于所有轮胎区域的新方法解决了该领域内的各种缺陷。用深度学习自动检测轮胎表面缺陷一种两阶段多模态方法一、论文背景为什么轮胎质检如此困难在轮胎制造行业产品质量是不可妥协的底线。传统的质量控制流程依赖经验丰富的工人逐一对轮胎进行人工目视检查。这种方式不仅耗时费力、高度重复而且极度依赖个人经验——一名检测员通常需要长达六个月的实际上岗训练才能熟练辨别轮胎缺陷。然而工业 4.0 的到来使得自动化成为必然趋势。问题是自动化轮胎质检远比想象中困难。论文指出的核心问题1. 缺陷视觉特征差异极大轮胎缺陷的尺寸跨度从几毫米到几十厘米不等类型也多种多样包括异常污渍、脱模痕迹、异物颗粒、气泡、变形等。不同缺陷之间的外观差异极大而同一类缺陷在不同轮胎区域也可能呈现完全不同的视觉效果即类内差异大、跨区差异更大。【论文 Fig. 6 — 不同缺陷在不同光照条件下的视觉样本展示】2. 传统机器视觉方法泛化能力不足经典方法如 SVM、手工特征提取在受控环境下表现良好但面对轮胎这种每种产品花纹完全不同的场景时泛化能力严重不足。即便是同一缺陷家族中的两个缺陷其外观也可能截然不同。3. 严重性分类不能简单套用规则检测出缺陷只是第一步更关键的是判断其严重程度是否需要返工/报废。直接用理论规则判断严重性行不通因为存在诸多未知因素如缺陷深度、定性特征而且跨工厂的泛化也是一大难题。【论文 Fig. 2 — 同一视觉家族Bumps但严重程度不同的两个缺陷示例】4. 高分辨率图像带来的工程挑战轮胎图像分辨率极高垂直分辨率可达 3096 像素在同一网络中同时完成检测与严重性分类会导致显存占用急剧上升实际难以落地。二、数据集自研采集系统 专家标注图像采集论文采用立体光度测量Stereo-photometric相机系统进行图像采集而非普通线阵相机或 3D 轮廓仪。核心思路是用同一相机视角、不同打光角度来隐式捕捉深度信息并将不同光照模态的图像沿通道维度拼接输入网络。每条完整的轮胎采集流程需要11 台相机每台配备独立嵌入式照明系统。系统能自动适应不同轮胎尺寸通过 PLC可编程逻辑控制器自动调整相机位置。实际使用中统一处理 3 个光照通道而非 34 个以便于跨区域迁移学习。【论文 Fig. 5 — 采集系统整体示意图 相机布置俯视图】轮胎被划分为以下6 个区域Zone编号区域名称1外侧胎圈Ext Bead2外侧肩部Ext Shoulder3外侧胎面Ext Tread4内侧胎面Int Tread5内侧肩部Int Shoulder6内侧胎圈Int Bead【论文 Fig. 4 — 轮胎区域命名示意图】数据规模与标注标注图像总数25,450 张其中 14,100 张为健康图像无缺陷标注工作由工厂内专家完成但论文坦承由于任务极具挑战性数据集中仍存在标注错误共定义10 种缺陷类型各类型实例数量如下缺陷类型实例数量Bumps凸起2,107Surface Roughness表面粗糙3,298Imprint压痕1,210Cut切割痕837Contrast Difference对比度差异2,086Tread Pattern Erosion花纹侵蚀70Flashes飞边3,726Smooth Dent光滑压痕214严重程度原本分为 4 级论文将其简化为**严重severe/ 不严重not severe**二分类以缓解类别不平衡问题。三、方法论两阶段解耦架构本文的核心创新在于将整个质检流程拆分为两个独立阶段而非端到端一步完成。【论文 Fig. 3 — 整体方法框架图检测 → 特征提取 → 严重性分类】为什么要解耦论文给出了五点理由贴近真实业务流程和人工检测员先发现缺陷再判断严重性的工作流程完全一致降低黑盒效应两任务合并会增加单步骤的不透明性节省显存高分辨率图像下合并处理会导致显存暴增纠正假阳性第二阶段分类器有机会过滤掉第一阶段的误检模块化训练两阶段可分别训练第二阶段训练时间远短于整体网络第一阶段实例分割缺陷检测与定位骨干网络MASK-RCNN基于 ResNet-50 FPN在标准 MASK-RCNN 基础上论文额外引入了两个预测分支Mask-IoU 分支预测预测掩码与真值掩码之间的交并比IoU用于量化分割质量从而消除那些分类置信度高但分割质量差的假阳性Bbox-IoU 分支预测预测框与真值框之间的 IoU与 Mask-IoU 分支目的相同但作用于边界框层面这两个 IoU 值连同分类置信度分数共同传入第二阶段作为重要特征。【论文 Fig. 7 — 检测模型及特征提取模块的详细架构图】训练策略全局预训练 逐区域微调从 COCO 数据集上预训练的 MASK-RCNN 权重出发用所有区域图像统一缩放至 1024×1024进行全局训练让网络适应立体光度图像对每个区域单独进行微调保持图像原始比例尽可能使用最高分辨率各区域微调使用的图像数量及尺寸如下共 5 个区域对应不同图像数量【论文 Fig. 8 — 逐区域微调策略示意图包含各区域图像数量】损失函数总损失为以下七项损失的加权和其中前五项来自标准 MASK-RCNN / Faster-RCNN后两项为新增 IoU 预测分支的损失均采用 MSE。训练时所有权重。第二阶段严重性分类多模态深度学习第二阶段的输入来自第一阶段的输出对每个检测到的缺陷实例进行严重性分类严重 / 不严重。输入特征表格数据从第一阶段提取的特征包括缺陷边界框的坐标相对垂直位置 y、水平扇区编号 112边界框的高、宽及高宽比分类分支的类别概率Mask IoU 和 Bbox IoU 预测值缺陷掩码面积轮胎元数据产品系列、宽度、高度、直径基线模型Baseline仅使用上述表格特征输入LightGBM梯度提升树分类器每个区域独立训练一个模型。【论文 Fig. 9 — 基线模型机器学习分类器结构图】提出的多模态深度学习模型在基线之上论文引入图像模态构建了一个三部分融合的深度学习架构表格数据处理MLP对类别特征使用 Embedding 编码维度为类别数的一半引入 Soft Label Encoder负类填 0.1 而非 0再经两层 MLP 提取特征图像特征提取ResNet18 GRU首先在区域图像上预训练一个 ResNet18 编码器分类小 patch 的严重程度无缺陷 / 不严重 / 严重patch 尺寸统一为 128×128内侧肩部为 258×258对缺陷区域按扫描顺序提取 patch 序列送入双向 GRUBi-directional GRU捕捉 patch 间的上下文关系该方案独立于图像原始尺寸可处理任意大小的缺陷区域多模态融合自注意力 交叉注意力两路特征各自经过多头自注意力Self-Attention模块过滤无关信息如背景干扰再经交叉注意力Cross-Attention模块实现互引导图像特征引导表格特征的选择表格特征也引导图像特征的聚焦最终拼接两路输出送入最后一层 MLP 输出分类结果超参数使用Optuna框架自动搜索采用 Tree-structured Parzen Estimator 采样器 HyperBandPruner优化指标为 F1-score。【论文 Fig. 10 — 提出的深度学习严重性分类模型结构图】四、实验结果第一阶段缺陷检测结果IoU 阈值 0.1各区域、各缺陷类型的 F1-score 如下X 表示该区域无此类缺陷【论文 Table 2 — 各区域各缺陷类型的检测 F1-score】几个关键观察Contrast Difference 和 Surface Roughness 得分最低因为这类缺陷形态弥散边界模糊连专家标注都极为困难Flashes 在 Int Bead 区域得分最高0.83Cut 在 Ext Tread 也达到 0.83整体来看检测任务本身极具挑战性但定性结果见 Table 4令人满意论文特别强调数字指标看起来不高但鉴于任务难度人工检测员需要 6 个月培训期这些结果已经相当令人满意且检测质量足以支撑下一阶段。【论文 Table 4 — 各区域定性检测结果样本含原图 vs. 预测 vs. 真值对比】【论文 Table 5 — 标注困难案例示例弥散缺陷、歧义缺陷、缺失标注】第二阶段严重性分类结果提出方法 vs. 基线LightGBM的 F1-score 对比【论文 Table 3 — 各区域严重性分类 F1-score 对比】区域基线 F1提出方法 F1提升幅度EXT SHOULDER0.630.830.20EXT BEAD0.520.700.18EXT TREAD0.680.820.14INT SHOULDER0.580.890.31INT BEAD0.530.760.23INT TREAD0.640.840.20提出的多模态深度学习方法相较基线各区域平均 F1-score 提升约 21%最终 F1 范围为0.700.89取决于轮胎区域。IoU 分支的有效性验证SHAP 分析为验证 Mask-IoU 和 Bbox-IoU 分支的价值论文使用 SHAPShapley 加性解释方法对 LightGBM 基线模型进行特征重要性分析以内侧胎面区域为例。关键发现缺陷面积area是最重要特征正相关面积越大越可能严重垂直位置y是第二重要特征呈现复杂非线性关系Bbox IoU是第三重要特征重要性甚至超过分类置信度分数scoreMask IoU排名第八同样显著这证明了两个 IoU 分支的设计是有效的它们为第二阶段提供了重要的不确定性量化信息。【论文 Fig. 11 — SHAP 特征重要性分析Top 12 特征的 SHAP 值蜂群图】消融实验元数据的贡献论文在外侧胎面区域轮胎元数据与胎面花纹相关性最强的区域进行了消融实验结论是加入轮胎尺寸元数据后F1-score 提升约1 个百分点。注意力机制相比简单拼接也带来了约1 个百分点的提升在外侧胎面区域实测。五、讨论创新点总结与局限性三大核心创新全区域统一方案这是首篇同时处理轮胎内外所有区域的研究提出了适用于所有轮胎区域的通用缺陷检测与严重性分类方法增强 MASK-RCNN 的 IoU 预测分支在标准网络基础上引入 Mask-IoU 和 Bbox-IoU 两个额外分支既提升检测精度又为下游分类器提供关键不确定性特征图像 元数据多模态融合架构借鉴医学影像领域皮肤病变分类的思路将 ResNet18 Bi-GRU 图像特征与结构化元数据通过交叉注意力机制融合实现了约 21% 的平均 F1 提升现存局限与未来方向推理时间未经优化的情况下每个区域推理耗时约20 秒仍有优化空间决策粒度当前严重性判断在边界框层面Bbox 级理想状态下应在整个图像或整条轮胎层面做出统一判断以捕捉多个缺陷之间的相互关系标注质量部分标注错误仍存在可考虑用模型输出反哺标注质量的迭代优化超参数搜索成本高架构对超参数敏感依赖自动化搜索框架部署复杂度较高数据集未公开受保密协议限制数据集不对外发布六、总结这篇来自米其林与里昂国立应用科学学院的联合研究将工业场景下的真实问题轮胎质检自动化与前沿深度学习方法实例分割、多模态融合、注意力机制结合得相当紧密。其最大的价值或许不在于某一具体的技术创新而在于将一个真实工业质检问题从头到尾系统性地走通了——从自研采集硬件、到大规模专家标注数据集再到两阶段可部署系统。最终该系统在 F1-score 为0.700.89的区间内达到了轮胎缺陷检测与严重性分类的自动化目标为轮胎制造行业的智能质检落地提供了一条可行路径。