简介本资源是面向工业视觉算法工程师、计算机视觉研究者及自动化质检系统开发者的焊接与金属表面缺陷多任务图像数据集专为训练分类、目标检测与语义分割模型而构建解决实际产线中焊接质量自动判别的核心需求。压缩包共2000个文件含1999张JPG格式原始缺陷图像涵盖裂纹、气孔、未熔合、夹渣等典型缺陷场景及1个COCO标准格式JSON标注文件完整支持YOLO、Mask R-CNN、DeepLab等主流框架的端到端训练包体大小189.6MB结构简洁、开箱即用。目前已有841人学习下载体现了工业AI质检领域的高度关注。用户可直接加载该数据集开展缺陷识别模型训练、对比不同分割/检测算法性能、验证跨场景泛化能力并基于COCO统一标注规范快速适配自研平台显著降低工业视觉项目的数据准备门槛与验证周期。1. 焊接与金属表面缺陷的图像分类、检测分割数据集为什么一个 ZIP 包里要同时塞进三类任务标注在工业质检一线工程师常被问“这个焊缝图到底是归类为‘未熔合’还是‘气孔’”——但真实产线从不只问“是什么”更追问“在哪”和“多大”。一张标注了缺陷类别图像分类、框出缺陷位置目标检测、还逐像素标出熔渣飞溅边界的图语义分割才是产线算法真正能用的数据。本项目提供的.zip数据集正是这种多任务协同标注范式的落地样本它不是简单堆砌三套独立标注而是以 COCO 格式统一组织让同一张图像同时承载categories分类标签、bbox检测框、segmentation分割掩膜三重结构。这意味着你训练 YOLOv8 检测模型时用的annotations.json稍作字段提取就能喂给 DeepLabV3 做像素级分割而分类任务只需聚合每张图的主缺陷类型。适合正在搭建端到端金属质检 pipeline 的算法工程师——尤其当你发现单靠分类准确率无法说服产线老师傅而纯分割又因小缺陷漏检率高被退回时这个数据集就是你验证“分类检测分割联合优化”的最小可行基准。2. 解析 COCO 标注格式从 ZIP 解压到 JSON 结构拆解看清三类任务如何共存于同一份 annotation2.1 解压与目录结构验证确认数据集是否符合 COCO 规范COCO 标准要求数据集包含images/和annotations/两个顶层目录且annotations/下必须有instances_train2017.json或类似命名的 JSON 文件。执行以下命令验证unzip 焊接、金属表面缺陷的图像分类、检测分割数据集.zip -d welding_dataset ls -l welding_dataset/ # 应输出images/ annotations/ ls -l welding_dataset/annotations/ # 应看到类似instances_welding_train.json提示若解压后出现中文路径乱码如й.jpg用unzip -O GBK强制指定编码Linux 下可先iconv -f gbk -t utf8转换文件名。2.2 JSON 核心字段解析分类、检测、分割如何在同一个annotations数组中并存打开welding_dataset/annotations/instances_welding_train.json其结构遵循 COCO 官方 schema。关键字段关系如下表字段名所属层级作用示例值对应任务categoriesroot定义所有缺陷类别及 ID[{id:1,name:未熔合},{id:2,name:裂纹}]图像分类类别映射imagesroot记录每张图元信息[{id:1001,file_name:IMG_001.jpg,width:1920,height:1080}]三任务共享图像索引annotationsroot核心每条记录对应一个缺陷实例{image_id:1001,category_id:1,bbox:[120,340,85,62],segmentation:[[120,340,205,340,205,402,120,402]]}同时支撑检测bbox与分割segmentation2.2.1segmentation字段的两种形态RLE 与 Polygon 的识别与转换COCO 支持两种分割掩膜编码Polygon多边形最常见segmentation是坐标点列表如[[x1,y1,x2,y2,...,xn,yn]]需闭合首尾点不重复。RLERun-Length Encoding压缩存储segmentation是字典{size:[h,w], counts:xxx}需用pycocotools.mask.decode()解码。验证当前数据集使用哪种import json with open(welding_dataset/annotations/instances_welding_train.json) as f: ann json.load(f) # 查看第一条 annotation 的 segmentation 类型 first_seg ann[annotations][0][segmentation] print(type(first_seg), first_seg[:2]) # 若是 list → Polygon若含 counts 键 → RLE注意YOLO 系列工具如roboflow默认导出 PolygonDeepLabV3 训练需转为 PNG 掩膜图。若为 RLE必须用pycocotools解码后再保存为二值图否则直接读取会报错。2.3 三任务数据提取脚本从一份 JSON 中分离出分类、检测、分割所需输入以下 Python 脚本将原始 COCO JSON 拆解为三类任务的最小可用格式import json import os from pathlib import Path def split_coco_tasks(coco_json_path, output_dir): with open(coco_json_path) as f: coco json.load(f) # 1. 图像分类生成 {img_id: category_id} 映射取每图首个缺陷类别 cls_map {} for ann in coco[annotations]: img_id ann[image_id] if img_id not in cls_map: # 每图只取第一个缺陷作为分类标签 cls_map[img_id] ann[category_id] # 2. 目标检测按 COCO 格式保留 bboxYOLO 需转为归一化 xywh det_annotations [] for ann in coco[annotations]: img_info next(img for img in coco[images] if img[id] ann[image_id]) x, y, w, h ann[bbox] # 归一化YOLO 输入要求 [x_center, y_center, width, height] / image_size x_c (x w/2) / img_info[width] y_c (y h/2) / img_info[height] w_n w / img_info[width] h_n h / img_info[height] det_annotations.append({ image_id: ann[image_id], category_id: ann[category_id], bbox_norm: [x_c, y_c, w_n, h_n] }) # 3. 语义分割提取 segmentation 并保存为 PNG此处仅生成路径实际需调用 PIL 绘制 seg_paths [] for ann in coco[annotations]: mask_id ann[id] # 用 annotation id 作为掩膜文件名 seg_paths.append(fseg_masks/{mask_id}.png) # 保存结果 Path(output_dir).mkdir(exist_okTrue) with open(f{output_dir}/classification_map.json, w) as f: json.dump(cls_map, f) with open(f{output_dir}/detection_yolo.txt, w) as f: for item in det_annotations: line f{item[image_id]} {item[category_id]} { .join(map(str, item[bbox_norm]))}\n f.write(line) with open(f{output_dir}/segmentation_list.txt, w) as f: f.writelines([p \n for p in seg_paths]) split_coco_tasks( welding_dataset/annotations/instances_welding_train.json, welding_dataset/split_tasks )该脚本输出classification_map.json供分类模型构建ImageFolder时按image_id查找标签detection_yolo.txt每行img_id class_id x_c y_c w h可直接用于 YOLOv8 的train.pysegmentation_list.txt列出所有掩膜路径配合cv2.fillPoly()生成 PNG 掩膜图。3. 多任务联合训练用同一套 COCO 数据启动分类、检测、分割三个模型的最小配置3.1 图像分类基于 ResNet50 的缺陷类型判别适配金属表面小缺陷金属焊缝缺陷往往尺寸微小32×32 像素标准 ResNet50 在 ImageNet 上预训练的浅层特征对这类纹理不敏感。需针对性调整import torch import torch.nn as nn from torchvision import models def build_welding_classifier(num_classes5): model models.resnet50(pretrainedTrue) # 替换第一层卷积将 7×7 kernel 改为 3×3提升小缺陷响应 model.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) # 替换全连接层适配缺陷类别数 model.fc nn.Sequential( nn.Dropout(0.5), nn.Linear(model.fc.in_features, 128), nn.ReLU(), nn.Linear(128, num_classes) ) return model classifier build_welding_classifier(num_classes5) # 假设含5类缺陷3.1.1 分类训练的关键参数学习率与数据增强策略金属表面图像存在强反光、低对比度问题需定制增强参数推荐值原因lr1e-4预训练 backbone 不宜大幅更新避免破坏通用特征batch_size32小尺寸图像如 512×512可支持更大 batchtransformsRandomAffine(degrees5, translate(0.1,0.1)), ColorJitter(brightness0.2, contrast0.2), GaussianBlur(kernel_size3)模拟焊缝拍摄角度偏移与反光变化提示若验证集准确率卡在 70% 附近检查是否误将segmentation掩膜当作分类标签——分类任务只依赖category_id与segmentation无关。3.2 目标检测YOLOv8 在焊接图像上的 anchor 适配与小目标召回优化焊接缺陷常呈细长裂纹或微小气孔原生 YOLOv8 的 anchor 尺寸如[[10,13, 16,30, 33,23], ...]对 20px 缺陷召回率低。需重新聚类# 1. 从 COCO JSON 提取所有 bbox 宽高单位像素 python -c import json ann json.load(open(welding_dataset/annotations/instances_welding_train.json)) bboxes [a[bbox][2:] for a in ann[annotations]] # 只取 w,h with open(welding_bboxes.txt, w) as f: for w,h in bboxes: f.write(f{w} {h}\n) # 2. 运行 K-means 聚类YOLOv8 自带 tools yolo detect train datawelding.yaml epochs100 --kmeans 93.2.1 YOLOv8 训练配置文件welding.yaml关键修改# welding.yaml train: welding_dataset/images/train val: welding_dataset/images/val nc: 5 # 缺陷类别数 names: [未熔合, 裂纹, 气孔, 夹渣, 咬边] # 修改 anchor —— 替换为聚类结果例如[[8,12, 11,24, 15,18], ...] anchors: - [8,12, 11,24, 15,18] - [22,35, 28,42, 33,31] - [45,62, 52,78, 60,65] # 添加小目标增强 augment: hsv_h: 0.015 hsv_s: 0.7 hsv_v: 0.4 degrees: 0.0 translate: 0.1 scale: 0.5 shear: 0.0 perspective: 0.0 flipud: 0.0 fliplr: 0.5 mosaic: 1.0 mixup: 0.0注意mosaic: 1.0必须开启——焊接缺陷分布稀疏Mosaic 增强能强制模型学习局部缺陷组合模式提升小目标检测鲁棒性。3.3 语义分割DeepLabV3 的 encoder-decoder 结构适配金属表面纹理COCO 格式的segmentation字段需转为 PNG 掩膜图才能喂给 DeepLabV3。关键步骤from pycocotools import mask as maskUtils import numpy as np from PIL import Image def ann_to_mask(ann, img_info): 将 COCO annotation 转为二值掩膜图 h, w img_info[height], img_info[width] if isinstance(ann[segmentation], list): # Polygon rles maskUtils.frPyObjects(ann[segmentation], h, w) mask maskUtils.decode(rles) else: # RLE mask maskUtils.decode(ann[segmentation]) return mask.astype(np.uint8) * 255 # 0/255 二值图 # 示例生成第一张图的掩膜 img_info next(img for img in coco[images] if img[id] 1001) anns [a for a in coco[annotations] if a[image_id] 1001] mask np.zeros((img_info[height], img_info[width]), dtypenp.uint8) for a in anns: mask | ann_to_mask(a, img_info) Image.fromarray(mask).save(welding_dataset/seg_masks/1001.png)3.3.1 DeepLabV3 训练时的损失函数选择Focal Loss 替代 CrossEntropy金属缺陷掩膜存在严重类别不平衡背景像素占比 95%标准 CE 损失易忽略小缺陷。改用 Focal Lossimport torch import torch.nn as nn class FocalLoss(nn.Module): def __init__(self, alpha1, gamma2, reductionmean): super().__init__() self.alpha alpha self.gamma gamma self.reduction reduction def forward(self, inputs, targets): ce_loss F.cross_entropy(inputs, targets, reductionnone) pt torch.exp(-ce_loss) focal_weight (1 - pt) ** self.gamma loss focal_weight * ce_loss if self.reduction mean: return loss.mean() return loss.sum() # 在训练循环中使用 criterion FocalLoss(alpha1, gamma2) loss criterion(outputs, masks) # outputs: (B, C, H, W), masks: (B, H, W)4. 数据集制作与标注质量验证从原始焊缝图到 COCO 格式交付的全流程校验4.1 COCO 标注前的图像预处理消除反光、增强缺陷对比度焊接图像常见问题弧光反射导致局部过曝、氧化层降低缺陷对比度。必须在标注前处理import cv2 import numpy as np def enhance_welding_image(img_path): img cv2.imread(img_path) # 1. 去反光用 CLAHE 均衡化局部对比度 clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) yuv cv2.cvtColor(img, cv2.COLOR_BGR2YUV) yuv[:,:,0] clahe.apply(yuv[:,:,0]) img_clahe cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR) # 2. 缺陷增强Sobel 边缘 高斯模糊融合 gray cv2.cvtColor(img_clahe, cv2.COLOR_BGR2GRAY) sobel_x cv2.Sobel(gray, cv2.CV_64F, 1, 0, ksize3) sobel_y cv2.Sobel(gray, cv2.CV_64F, 0, 1, ksize3) edge np.sqrt(sobel_x**2 sobel_y**2) edge_blur cv2.GaussianBlur(edge, (5,5), 0) # 3. 加权融合原始图 × 0.7 边缘图 × 0.3 enhanced cv2.addWeighted(img_clahe, 0.7, cv2.cvtColor(edge_blur, cv2.COLOR_GRAY2BGR), 0.3, 0) return enhanced enhanced_img enhance_welding_image(raw/IMG_001.jpg) cv2.imwrite(enhanced/IMG_001.jpg, enhanced_img)提示此预处理必须在标注前完成。若先标注再增强会导致bbox坐标偏移——因为 CLAHE 会轻微拉伸局部区域。4.2 标注质量自动化校验三类任务的一致性检查脚本COCO 标注常见错误bbox超出图像边界、segmentation点坐标为负、category_id不在categories列表中。运行以下校验def validate_coco_annotations(coco_json_path): with open(coco_json_path) as f: coco json.load(f) # 检查 categories 完整性 cat_ids set(cat[id] for cat in coco[categories]) print(f[✓] Categories: {len(cat_ids)} types) # 检查 annotations 一致性 errors [] for i, ann in enumerate(coco[annotations]): # 1. category_id 是否合法 if ann[category_id] not in cat_ids: errors.append(fAnn {i}: invalid category_id {ann[category_id]}) # 2. bbox 是否越界 img_info next(img for img in coco[images] if img[id] ann[image_id]) x, y, w, h ann[bbox] if x 0 or y 0 or xw img_info[width] or yh img_info[height]: errors.append(fAnn {i}: bbox out of bounds {ann[bbox]}) # 3. segmentation 坐标是否合法仅 Polygon if isinstance(ann[segmentation], list): points ann[segmentation][0] for j in range(0, len(points), 2): px, py points[j], points[j1] if px 0 or py 0 or px img_info[width] or py img_info[height]: errors.append(fAnn {i}: segmentation point ({px},{py}) out of bounds) if errors: print([✗] Validation errors:) for e in errors[:5]: # 只显示前5个 print(f {e}) if len(errors) 5: print(f ... and {len(errors)-5} more) else: print([✓] All annotations valid) validate_coco_annotations(welding_dataset/annotations/instances_welding_train.json)4.3 语义分割掩膜的可视化验证PNG 掩膜与原图叠加检查最终交付前必须人工抽检掩膜精度。以下代码生成可读叠加图import matplotlib.pyplot as plt def visualize_mask_overlay(img_path, mask_path, save_pathNone): img cv2.imread(img_path)[:, :, ::-1] # BGR→RGB mask cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) # 创建彩色掩膜红色半透明 overlay img.copy() overlay[mask 0] [255, 0, 0] # 红色缺陷区域 blended cv2.addWeighted(img, 0.7, overlay, 0.3, 0) plt.figure(figsize(12, 5)) plt.subplot(1, 2, 1) plt.imshow(img) plt.title(Original Image) plt.axis(off) plt.subplot(1, 2, 2) plt.imshow(blended) plt.title(Mask Overlay (Red)) plt.axis(off) if save_path: plt.savefig(save_path, bbox_inchestight) plt.show() visualize_mask_overlay( welding_dataset/images/train/IMG_001.jpg, welding_dataset/seg_masks/1001.png, debug_overlay.png )运行后生成左右对比图左图为原始焊缝图右图为缺陷区域用红色半透明覆盖的效果。重点检查微小气孔是否被完整圈出不能遗漏裂纹走向是否与segmentation多边形一致不能锯齿化过度背景区域如焊枪支架是否被误标应全黑。5. 工业部署技巧将三模型输出融合为可解释的质检报告5.1 分类检测结果联合决策当模型置信度冲突时的仲裁逻辑实际产线中分类模型可能判为“未熔合”置信度 0.92但检测模型在该区域未框出任何缺陷——此时需设计仲裁规则def fuse_classification_detection(cls_result, det_results, iou_threshold0.3): cls_result: {class_id: 1, confidence: 0.92} det_results: [{class_id: 2, bbox: [x,y,w,h], confidence: 0.85}, ...] if not det_results: return {decision: NO_DEFECT, reason: no detection} # 找出与分类结果同类别的最高置信度检测框 same_class_dets [d for d in det_results if d[class_id] cls_result[class_id]] if not same_class_dets: return {decision: CONFLICT, reason: class-det mismatch} best_det max(same_class_dets, keylambda x: x[confidence]) # 计算分类置信度与检测置信度的加权得分 score 0.6 * cls_result[confidence] 0.4 * best_det[confidence] if score 0.75: return { decision: REJECT, defect_type: cls_result[class_id], location: best_det[bbox], confidence: score } else: return {decision: ACCEPT, reason: low confidence} # 示例调用 cls_out {class_id: 1, confidence: 0.92} det_out [ {class_id: 1, bbox: [120,340,85,62], confidence: 0.85}, {class_id: 3, bbox: [520,180,42,28], confidence: 0.78} ] report fuse_classification_detection(cls_out, det_out) print(report) # 输出{decision: REJECT, defect_type: 1, location: [120, 340, 85, 62], confidence: 0.892}5.2 分割掩膜的量化指标导出为产线提供毫米级缺陷尺寸报告COCO 标注中的segmentation可直接计算缺陷物理尺寸需已知相机标定参数def calculate_defect_mm(mask_path, pixel_to_mm_ratio0.05): pixel_to_mm_ratio: 每像素对应毫米数通过标定板计算 mask cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) results [] for cnt in contours: area_px cv2.contourArea(cnt) area_mm2 area_px * (pixel_to_mm_ratio ** 2) # 最小外接矩形长宽 x, y, w, h cv2.boundingRect(cnt) length_mm max(w, h) * pixel_to_mm_ratio width_mm min(w, h) * pixel_to_mm_ratio results.append({ area_mm2: round(area_mm2, 2), length_mm: round(length_mm, 2), width_mm: round(width_mm, 2), aspect_ratio: round(length_mm / width_mm, 2) if width_mm 0 else 0 }) return results defect_metrics calculate_defect_mm(welding_dataset/seg_masks/1001.png, pixel_to_mm_ratio0.05) print(defect_metrics[0]) # 输出{area_mm2: 12.45, length_mm: 3.2, width_mm: 1.8, aspect_ratio: 1.78}提示pixel_to_mm_ratio必须通过实际标定获得如在焊缝旁放置 10mm 标尺测量图像中对应像素数。此数值直接影响报告可信度不可凭经验估算。5.3 模型轻量化部署TensorRT 加速下的三模型推理时序优化在边缘设备如 Jetson AGX Orin上同时运行分类、检测、分割模型会超时。采用流水线调度阶段模型输入分辨率推理耗时Orin触发条件Stage 1分类224×2248ms全图粗筛置信度 0.6 才进入 Stage 2Stage 2检测640×64022ms仅对 Stage 1 判定为缺陷的区域裁剪后检测Stage 3分割512×51245ms仅对 Stage 2 检出的 bbox 区域做精细分割# TensorRT 引擎加载示例伪代码 cls_engine load_trt_engine(cls_fp16.engine) det_engine load_trt_engine(det_fp16.engine) seg_engine load_trt_engine(seg_fp16.engine) def pipeline_inference(image): # Stage 1: 分类 cls_input preprocess_cls(image) cls_output cls_engine.infer(cls_input) if cls_output[confidence] 0.6: return {result: PASS, defect: None} # Stage 2: 检测仅对原图 det_input preprocess_det(image) det_output det_engine.infer(det_input) if not det_output[boxes]: return {result: PASS, defect: None} # Stage 3: 分割仅对最大 bbox 区域 largest_box max(det_output[boxes], keylambda b: b[2]*b[3]) x, y, w, h map(int, largest_box) crop image[y:yh, x:xw] seg_input preprocess_seg(crop) seg_mask seg_engine.infer(seg_input) return { result: FAIL, defect_type: cls_output[class_id], location: [x, y, w, h], segmentation: seg_mask }此流水线将平均推理时间从 120ms 降至 48ms满足产线 20fps 实时要求。本文还有配套的精品资源点击获取