简介面向计算机视觉与目标检测方向的开发者与学习者智能售货柜商品检测数据集的训练标注部分以VOC格式组织每个XML文件对应一张训练图像包含目标类别与边界框坐标可直接接入YOLO、SSD、Faster R-CNN等常见检测框架免去手动标注流程适用于模型训练、算法调优或课程设计。资源包共2000个文件均为XML标注文件压缩包整体约993MB另附类别列表txt便于类别管理与映射这些标注覆盖日常售货柜常见商品可作为算法竞赛、毕业设计或工业落地前期的数据基础。目前已有289人学习下载验证集与测试集以单独资源发布可按需搜索组合使用。整体文件组织清晰与训练图像一一对应能有效支撑智能售货柜商品识别项目从数据准备、模型训练到评估验证的完整流程。1. 智能售货柜商品数据集目标检测领域里被低估的硬场景智能售货柜商品数据集在目标检测领域是个被低估的硬场景柜内商品密集排列一瓶水被另一瓶挡住一半包装相似的饮料挨在一起玻璃层板和灯带还带来反光——这些干扰会让一个在COCO上表现良好的模型换到售货柜上掉三到五个点。这份训练集以VOC标注格式交付每个目标都有独立XML标注文件像素坐标直接写在bndbox节点里类别名可读可查Python标准库就能解析LabelImg、YOLOv5/v8、mmdetection都能直接消费。下面按一条可复现的路径走读目录结构、拆标注字段、做数据体检、转格式切分、跑通YOLOv8训练最后落在售货柜场景最有效的几个提点技巧上。做计算机视觉大作业、想用yolov8训练自己的数据集或给零售场景做检测算法的工程师都能按这条路径直接上手。2. 读懂VOC训练集目录骨架与XML标注字段拆解2.1 从JPEGImages、Annotations和ImageSets看训练集骨架数据集下载解压后先别急着开训练脚本。标准VOC格式的目录不止一个Annotations文件夹先用find命令把整体布局拉出来看一眼find . -maxdepth 3 -type d | sort常见布局是VOCdevkit/VOC2007下挂四个子目录VOCdevkit/ ├── JPEGImages/ # 原图jpg或png与annotation严格同名 ├── Annotations/ # 每个xml对应一张图 ├── ImageSets/ │ └── Main/ # train.txt / val.txt / test.txt └── labels/ # 非标准目录可能是转换好的yolo格式几个细节值得先说明。第一JPEGImages与Annotations里的文件严格同名只差扩展名这是VOC格式前后对得上的前提如果出现同名文件缺失数据加载阶段会直接报错。第二ImageSets/Main里的txt只存文件名不带路径不带扩展名每行一个。如果拿到的训练集没有ImageSets说明需要自己划分train和val而不是全量灌进去训练。第三有的数据集会把训练集和验证集拆成两个独立目录标题写“训练集”时验证集往往在另一个文件夹里开始前先把两边的类别分布都确认一遍。提示JPEGImages里若混入非商品图——比如无人柜安装照、开门后的空柜照——建议先剔除或单独建目录否则模型会把柜体背景学进特征里。2.2 XML中bndbox坐标约定与字段含义VOC标注XML的解析逻辑很直白一份典型的标注文件长这样annotation folderJPEGImages/folder filenameIMG_2048_001.jpg/filename size width1920/width height1080/height depth3/depth /size object namecoca_cola/name poseFrontal/pose truncated0/truncated difficult0/difficult bndbox xmin312/xmin ymin145/ymin xmax421/xmax ymax342/ymax /bndbox /object /annotationobject节点里的几个字段直接决定训练行为整理成一张表节点含义常见坑name类别名通常是小写下划线同一类出现coca_cola和coca-cola会让类别数膨胀truncated目标是否出画面边界售货柜上下排商品常被裁切difficult是否为难例训练时通常应忽略有的数据集把严重遮挡商品标为1bndbox/xmin,ymin左上角像素坐标按约定从1计数接口若按0计数会差1像素bndbox/xmax,ymax右下角像素坐标注意是包含关系不是开区间坐标上最容易踩的坑是从1计数还是从0计数。VOC官方约定像素坐标从1开始而PyTorch和OpenCV的多数接口从0开始差1个像素在普通目标上无所谓在售货柜的小罐饮料上一个框的宽可能只有30像素这一个像素就值得统一处理。转格式时我习惯先减1再归一化第4章会给出具体实现。还有一个容易忽略的点bndbox是axis-aligned的正矩形不支持旋转框。柜里斜放的商品只能用一个外接正矩形包住框里会混入背景和相邻商品模型学到的特征被稀释。这个问题没法在标注格式层面消除只能靠增强和训练策略缓解第5章会提到。2.3 用Python解析VOC XML并统计类别分布拿到训练集后第一件事不是训练而是统计类别和实例数。我习惯写一个几十行的解析脚本import os import xml.etree.ElementTree as ET from collections import Counter ann_dir VOCdevkit/VOC2007/Annotations cat_counter Counter() img_counter 0 empty_files [] for xml_name in os.listdir(ann_dir): if not xml_name.endswith(.xml): continue tree ET.parse(os.path.join(ann_dir, xml_name)) root tree.getroot() objs root.findall(object) img_counter 1 if not objs: empty_files.append(xml_name) for obj in objs: cat_counter[obj.findtext(name)] 1 print(图片数:, img_counter) print(类别数:, len(cat_counter)) print(实例总数:, sum(cat_counter.values())) for name, cnt in cat_counter.most_common(): print(f{name}: {cnt}) if empty_files: print(空标注文件:, empty_files[:5])逻辑说明用xml.etree.ElementTree遍历Annotations目录对每个XML取object节点下的name文本统计进Counter同时记录没有任何object的文件。运行后重点看两点类别数是否符合交付说明某个类别的实例数如果只有个位数大概率学不出来。空标注文件要在训练管线里过滤掉否则部分增强库在空图上会直接报错。统计结果严重不均衡时比如某类有5000个实例、另一类仅80个实例不要急着删数据或暴力过采样。常见做法是先不处理跑一轮baseline出来再看小类别的recall是标注质量问题还是数据量问题再决定补标还是调整损失权重后者比盲目复制样本更可靠。3. 售货柜目标检测数据集训练前体检可视化、坐标校验与坏样本筛查3.1 把标注画出来Python叠加边框快速人眼复核数量统计发现不了标注质量问题而售货柜数据集最常见的错误恰恰是框偏移半个商品、类别贴错可乐标成雪碧、漏标被遮挡的底层商品。这些问题只有人眼能快速定位。我会写一个批量画框脚本把标注叠加到原图输出成拼接图或视频import os import cv2 import xml.etree.ElementTree as ET def draw_annotation(img_path, xml_path, color_map, out_dir): img cv2.imread(img_path) tree ET.parse(xml_path) for obj in tree.getroot().findall(object): name obj.findtext(name) bb obj.find(bndbox) xmin int(bb.findtext(xmin)) - 1 ymin int(bb.findtext(ymin)) - 1 xmax int(bb.findtext(xmax)) - 1 ymax int(bb.findtext(ymax)) - 1 color color_map.get(name, (0, 255, 0)) cv2.rectangle(img, (xmin, ymin), (xmax, ymax), color, 2) cv2.putText(img, name, (xmin, max(ymin - 5, 20)), cv2.FONT_HERSHEY_SIMPLEX, 0.6, color, 2) os.makedirs(out_dir, exist_okTrue) out_path os.path.join(out_dir, os.path.basename(img_path)) cv2.imwrite(out_path, img) img_dir VOCdevkit/VOC2007/JPEGImages ann_dir VOCdevkit/VOC2007/Annotations color_map {coca_cola: (0, 0, 255), water: (255, 0, 0)} for img_name in os.listdir(img_dir): stem os.path.splitext(img_name)[0] xml_path os.path.join(ann_dir, stem .xml) if os.path.exists(xml_path): draw_annotation(os.path.join(img_dir, img_name), xml_path, color_map, vis_out)参数说明img_path与xml_path是一对同名文件color_map是类别到BGR颜色的映射out_dir存放可视化结果。画框前做了减1处理因为cv2.rectangle的坐标从0开始而VOC从1开始。产物用ffmpeg按10fps串成视频倍速播放几十秒就能过完几百张图远比一张张点开效率高。扫图时重点看三类现象框是否紧贴商品轮廓、同类商品的框大小是否一致、被遮挡商品是否漏标。如果大量框松垮地包住整个货格建议先修正再训练——标注偏差会被模型原样学走后面怎么调增强都补不回来。3.2 坐标越界、空标注与重复框的自动检查人眼扫图之外还要做程序化校验。售货柜训练集最常见三类坏样本bad {out_of_bounds: [], zero_size: [], duplicate: []} for xml_name in os.listdir(ann_dir): if not xml_name.endswith(.xml): continue tree ET.parse(os.path.join(ann_dir, xml_name)) r tree.getroot() img_w int(r.findtext(size/width)) img_h int(r.findtext(size/height)) seen set() for obj in r.findall(object): bb obj.find(bndbox) xmin int(bb.findtext(xmin)) ymin int(bb.findtext(ymin)) xmax int(bb.findtext(xmax)) ymax int(bb.findtext(ymax)) if xmin 1 or ymin 1 or xmax img_w or ymax img_h: bad[out_of_bounds].append(xml_name) if xmax xmin or ymax ymin: bad[zero_size].append(xml_name) key (xmin, ymin, xmax, ymax) if key in seen: bad[duplicate].append(xml_name) seen.add(key) for k, v in bad.items(): print(k, len(v), v[:5])逻辑说明逐项检查坐标越过图像边界、宽高为零的退化框、完全重合的重复框。越界框在训练时会被裁剪导致标签与内容不匹配零尺寸框在IoU计算时可能除零重复框若是不同类别等于训练时给了自相矛盾的标签。这三类都应该在转格式前清洗干净。校验项判定条件处理方式坐标越界xmin1 或 xmaximg_w裁剪到边界或删除该框零尺寸框xmaxxmin 或 ymaxymin直接删除重复框坐标完全相同的多个object保留一个优先保留difficult0极端长宽比宽或高小于10像素人工确认后过滤售货柜场景还有一个特殊问题层板间隙或柜门把手可能被误标成商品框。这类框的典型特征是长宽比极端但不要一刀切过滤——口香糖横放时本来就是扁长条过滤前先按类别统计一下框尺寸分布再决定阈值。3.3 小目标占比统计决定增强策略柜里的瓶装水、小罐饮料体积都不大属于典型的小目标检测场景。框面积分布能直接指导增强策略和训练分辨率我通常按原始像素面积统计import os import xml.etree.ElementTree as ET import numpy as np areas [] for xml_name in os.listdir(ann_dir): if not xml_name.endswith(.xml): continue tree ET.parse(os.path.join(ann_dir, xml_name)) for obj in tree.getroot().findall(object): bb obj.find(bndbox) w int(bb.findtext(xmax)) - int(bb.findtext(xmin)) h int(bb.findtext(ymax)) - int(bb.findtext(ymin)) areas.append(w * h) areas np.array(areas) for th in [32 * 32, 64 * 64, 96 * 96]: print(f面积小于 {th} 的框占比: {(areas th).mean():.2%})逻辑说明遍历所有框计算面积统计小于几个常见阈值的占比。如果小于96×96的框超过40%训练时建议把输入分辨率提到640以上或者对原图做滑窗切块把每个区块放大后再送进网络。COCO预训练权重默认在416或640分辨率下表现稳定但小目标密集场景里把imgsz提到640附近往往比换更大的backbone收益更直接。注意面积统计务必基于原始图上的像素值不要在resize之后再统计否则阈值判断会失真。同一种商品在售货柜里因货道远近不同成像尺寸差异可能很大按类别分组统计会更准确。4. 从VOC训练集到可训练管线格式转换、数据集划分与YOLO训练4.1 VOC坐标转YOLO格式的归一化实现YOLOv8和mmdetection的官方工具都能直接读VOC但我一般还是先把标注转成YOLO的txt格式。原因很简单txt格式更适合在线增强和逐行debug且几乎每个检测框架都原生支持。转换核心是坐标中心化和归一化import os import xml.etree.ElementTree as ET class_map {water: 0, coca_cola: 1, sprite: 2, lays: 3, gum: 4, soda: 5} def convert_one(xml_path, txt_out, class_map): tree ET.parse(xml_path) r tree.getroot() img_w int(r.findtext(size/width)) img_h int(r.findtext(size/height)) lines [] for obj in r.findall(object): if int(obj.findtext(difficult, 0)) 1: continue name obj.findtext(name) if name not in class_map: continue bb obj.find(bndbox) xmin int(bb.findtext(xmin)) - 1 ymin int(bb.findtext(ymin)) - 1 xmax int(bb.findtext(xmax)) - 1 ymax int(bb.findtext(ymax)) - 1 cx (xmin xmax) / 2.0 / img_w cy (ymin ymax) / 2.0 / img_h bw (xmax - xmin) / img_w bh (ymax - ymin) / img_h lines.append(f{class_map[name]} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) with open(txt_out, w) as f: f.write(\n.join(lines))参数说明class_map是类别名到整数ID的映射必须和后续data.yaml里的顺序严格一致否则模型输出的类别会对错位。cx、cy是中心点相对图像宽高的比例bw、bh是宽高比例取值范围都在0到1之间。difficult1的难例框在转换时直接跳过这是常见做法——难例框标注主观性强留着反而干扰训练。转换时保持txt与图片同名同目录目录层级和JPEGImages一致。转换完成后抽查几个txt文件重点确认小数位数和类别ID格式。最典型的低级错误是忘记归一化直接把像素值写了进去训练时所有框都挤在图像角落模型根本学不到有效特征。4.2 用固定随机种子切分train/val不少人拿到训练集直接全量训练验证时才发现过拟合。正确做法是留出一部分做验证集切分的关键是固定随机种子import os import random images [f for f in os.listdir(JPEGImages) if f.endswith(.jpg) or f.endswith(.png)] random.seed(42) random.shuffle(images) val_ratio 0.2 val_n int(len(images) * val_ratio) val_set set(images[:val_n]) with open(train.txt, w) as f_tr, open(val.txt, w) as f_va: for img in images: line fJPEGImages/{img}\n if img in val_set: f_va.write(line) else: f_tr.write(line)逻辑说明把所有图片路径shuffle后取前20%做验证集其余做训练集写出的train.txt和val.txt是YOLO风格路径列表。切分有两个易错点一是按图片粒度切不能按标注框切否则同一张图的目标会跨集合出现验证指标虚高二是如果数据里有柜号或店号字段尽量按柜子分组切保证同一个柜子不横跨训练和验证——训练曲线一旦拟合过某个柜子的光线与摆放角度验证集的泛化评估就失真了。切分后还要检查类别覆盖率拿第2章的统计脚本对train.txt和val.txt各跑一遍。如果某个类别在验证集里一个框都没有那一类AP就是0这时先回去换随机种子或改分层抽样不要急着怀疑模型。4.3 用YOLOv8训练自己的数据集时的关键参数格式转好、划分完成后开始训练。用yolov8训练自己的数据集时先准备一个data.yamlpath: /path/to/vending train: train.txt val: val.txt nc: 6 names: [water, coca_cola, sprite, lays, gum, soda]然后执行训练命令yolo detect train modelyolov8s.pt datavending.yaml \ imgsz640 epochs120 batch16 device0 \ patience20 augmentTrue cos_lrTrue参数速查参数推荐值场景说明modelyolov8s.pt先跑通再视精度换成m或limgsz640小目标密集时建议不要低于640batch16显存不足时降到8patience20验证集指标连续20轮不升即早停cos_lrTrue余弦退火后期收敛更稳参数说明yolov8s在速度和精度之间平衡适合售货柜这种对延迟有要求的场景imgsz提到640是针对小目标检测的常用手段显存足够可以试768patience设20是防止无效长训先跑通再逐步放开cos_lr让学习率按余弦曲线衰减比固定值稳定。训练结束后看results.csv重点对比每一类的mAP50和mAP50-95。某类指标明显低回到第3章查该类实例数和框质量。第一轮跑通之后再考虑换backbone或做针对性增强整个流程的大头其实都在前面的数据准备和后面的调优上。5. 售货柜目标检测调优增强策略、难例挖掘与混淆矩阵5.1 数据增强先关掉水平翻转售货柜场景和自然场景有个关键差异商品标签文字有方向性。全局水平翻转会让“统一冰红茶”这类带文字的商品镜像成错误方向模型把“镜像”当成新特征学进去反而干扰识别。我一般只开轻微的mosaic和HSV色域扰动把flipud和fliplr都设为0如果商品全是圆罐这类方向无关的形状再按类别选择性开翻转。HSV的h、s、v建议维持在0.005左右模拟柜内LED灯带不同色温下的成像差异既不破坏颜色语义又能提升光照鲁棒性。5.2 难例挖掘补标漏检的底层商品售货柜最常见的漏检集中在底层商品被上层遮挡或取货时被手部遮挡模型预测置信度卡在0.3到0.6之间。常见做法是跑一遍训练好的模型把置信度落在这个区间且与真实框IoU超过0.3的预测框dump出来人工筛一遍把真正的漏检目标补标进训练集这就是一轮难例挖掘。补标时把新标注并回VOC目录保持和最初交付格式一致之后想转COCO或其它格式都方便。循环做两三轮比单纯加epoch的效果明显得多。5.3 用混淆矩阵定位易混类别训练结束后用验证集生成混淆矩阵看哪两类互相错得最多。售货柜里最典型的混淆是包装形态高度相似的产品比如红色罐装可乐和红色罐装雪碧、同色系的薯片袋。定位到混淆对之后一个有效手段是单独抽查这些类别的样本并修正标注另一个是把这两类设成较高权重参与损失计算如果业务不关心细分品牌还可以在推理层直接合并成“红色罐装饮料”大类。最后一个实操技巧是用TTA测试时增强在验证时把多个增强视角的预测平均一下能小幅提升稳定性但推理耗时成倍增加是否上线完全取决于业务对延迟的容忍度。本文还有配套的精品资源点击获取