简介本资源是一套基于YOLOv3的玩手机行为检测完整方案面向计算机视觉初学者与安防/教育场景开发者解决课堂、考场等场所中学生违规使用手机的实时识别需求。压缩包共2000个文件主体为3292张标注图像JPG、3282份YOLO格式标签TXT及5份PASCAL VOC格式XML标注辅以28个核心Python脚本含训练、推理、可视化模块、21个配置文件YAML/YML、3个PyTorch模型权重PT及PyQt图形界面代码整体容量310.94MB。已有745人学习下载资源结构清晰包含datasets.py数据加载、train.py训练主逻辑、plots.py绘制PR/Loss曲线等关键模块并提供README与CONTRIBUTING说明文档。用户可直接部署运行检测界面复现训练过程或基于3000张真实场景玩手机图像开展迁移学习与算法优化。1. YOLOv3 玩手机检测不是“加个标签就完事”而是从数据标注一致性、类别语义边界到小目标召回率的系统性工程在工地安全巡检、课堂行为分析、驾驶分心预警等实际场景中“玩手机”这一动作的视觉表征高度依赖上下文单看手部区域易与拿水杯、摸脸混淆仅靠手机屏幕反光又受光照角度制约而YOLOv3这类单阶段检测器对小尺度目标如侧身时手机仅占画面0.5%的定位精度天然受限。本项目提供的并非一个开箱即用的黑盒模型而是一套完整闭环——包含3000张真实场景图像、严格对齐的txtYOLO格式与xmlPASCAL VOC格式双标注、PyTorch实现的YOLOv3训练脚本、PR/Loss曲线可视化工具以及基于PyQt5构建的交互式检测界面。它解决的核心问题是如何让YOLOv3在有限算力单卡GTX1060即可训练下稳定识别出遮挡、侧视、低分辨率等复杂条件下的“玩手机”行为。适合需要快速验证算法可行性、但又不愿从零构建数据流水线的安防/教育类项目开发者也适合作为计算机视觉课程中目标检测模块的实战案例——所有代码无第三方闭源依赖模型权重已通过COCO预训练玩手机数据集微调mAP0.5达78.3%召回率R0.582.1%。2. 数据集结构与标注规范为什么必须同时提供txt和xml两种格式2.1 双格式标注的设计逻辑与转换验证本项目数据集根目录下存在labels_txt/和annotations_xml/两个平行文件夹分别存放YOLO格式归一化坐标和PASCAL VOC格式像素坐标标注。这种设计并非冗余而是为不同训练/评估环节提供适配接口train.py读取labels_txt/进行PyTorch DataLoader加载而datasets.py中的VOCParser类则解析annotations_xml/用于生成COCO-style评估报告plots.py的PR曲线绘制则依赖wandb_utils.py将txt标注转为WB兼容的bounding box序列。关键在于确保两种格式内容严格一致——我们通过以下脚本校验# validate_annotations.py import os import xml.etree.ElementTree as ET from pathlib import Path def check_consistency(img_name: str, txt_dir: Path, xml_dir: Path): txt_path txt_dir / f{img_name}.txt xml_path xml_dir / f{img_name}.xml # 读取txt标注class_id x_center y_center width height with open(txt_path, r) as f: txt_lines [line.strip() for line in f if line.strip()] # 解析xml标注xmin ymin xmax ymax tree ET.parse(xml_path) root tree.getroot() xml_boxes [] for obj in root.findall(object): bbox obj.find(bndbox) xmin int(bbox.find(xmin).text) ymin int(bbox.find(ymin).text) xmax int(bbox.find(xmax).text) ymax int(bbox.find(ymax).text) xml_boxes.append((xmin, ymin, xmax, ymax)) # 验证数量一致 assert len(txt_lines) len(xml_boxes), f标注数量不匹配: {img_name} # 验证坐标映射假设图像尺寸为640x480 img_w, img_h 640, 480 for i, txt_line in enumerate(txt_lines): parts list(map(float, txt_line.split())) cls_id, x_cen, y_cen, w, h parts[0], parts[1], parts[2], parts[3], parts[4] # YOLO转像素坐标 x1 int((x_cen - w/2) * img_w) y1 int((y_cen - h/2) * img_h) x2 int((x_cen w/2) * img_w) y2 int((y_cen h/2) * img_h) # 与xml对比允许±2像素误差 assert abs(x1 - xml_boxes[i][0]) 2, fX1偏差过大: {img_name} assert abs(y1 - xml_boxes[i][1]) 2, fY1偏差过大: {img_name} assert abs(x2 - xml_boxes[i][2]) 2, fX2偏差过大: {img_name} assert abs(y2 - xml_boxes[i][3]) 2, fY2偏差过大: {img_name} # 批量校验 txt_dir Path(labels_txt) xml_dir Path(annotations_xml) for img_file in (Path(images) / train).glob(*.jpg): check_consistency(img_file.stem, txt_dir, xml_dir)提示运行此脚本前需确认images/train/下所有图像尺寸统一为640×480。若原始数据存在分辨率差异需在datasets.py的LoadImagesAndLabels类中启用resize_and_pad选项否则YOLOv3的anchor匹配会失效。2.2 玩手机类别的语义定义与标注边界“玩手机”在本数据集中被明确定义为手机屏幕处于点亮状态且操作者手掌或手指与屏幕存在接触或即将接触的物理姿态。该定义排除了以下干扰项手持关机手机屏幕无亮光手机置于口袋/包中仅露出边框手持平板电脑尺寸超过手机长宽比阈值1.8:1手持电子书阅读器屏幕无触控反光特征标注时采用“最小外接矩形屏幕高亮区域强化”策略矩形框需完全包裹手机机身但优先覆盖屏幕区域当手机倾斜时框体允许轻微旋转最大±15°但禁止使用多边形标注。我们在general.py中提供了is_phone_screen_lit()辅助函数通过HSV空间提取屏幕区域亮度直方图峰值来辅助人工标注质检import cv2 import numpy as np def is_phone_screen_lit(img_bgr: np.ndarray, bbox: tuple) - bool: bbox: (x1, y1, x2, y2) 像素坐标 返回True表示屏幕区域存在显著高亮判定为点亮状态 x1, y1, x2, y2 map(int, bbox) roi img_bgr[y1:y2, x1:x2] hsv cv2.cvtColor(roi, cv2.COLOR_BGR2HSV) # 提取V通道亮度 v_channel hsv[:, :, 2] # 计算ROI内亮度均值与标准差 mean_v np.mean(v_channel) std_v np.std(v_channel) # 屏幕点亮判据均值120且标准差30排除均匀白墙干扰 return mean_v 120 and std_v 30 # 在标注质检流程中调用 for img_path in Path(images/train).glob(*.jpg): img cv2.imread(str(img_path)) txt_path Path(labels_txt) / f{img_path.stem}.txt with open(txt_path, r) as f: for line in f: parts list(map(float, line.strip().split())) if len(parts) 5: continue # 转换为像素坐标假设640x480 x_cen, y_cen, w, h parts[1:5] x1 int((x_cen - w/2) * 640) y1 int((y_cen - h/2) * 480) x2 int((x_cen w/2) * 640) y2 int((y_cen h/2) * 480) if not is_phone_screen_lit(img, (x1, y1, x2, y2)): print(f警告: {img_path.name} 标注框{[x1,y1,x2,y2]}可能未点亮屏幕)注意该函数仅用于标注后质检不参与训练过程。实际训练中YOLOv3仅学习bbox位置与类别屏幕点亮状态由标注员主观判断并体现在bbox覆盖范围上。3. YOLOv3训练配置与关键参数调优3.1 模型结构适配针对单类别小目标的anchor重聚类原始YOLOv3在COCO数据集上使用的9组anchor按尺寸分为3组并不适配“玩手机”这一细粒度目标。本项目通过K-means对3000张图像中的真实bbox进行聚类得到新的anchor尺寸单位像素Anchor组尺寸w×h对应特征图尺度适用场景第1组大124×9280×80正面手持、大屏手机第2组中68×5440×40侧身持握、中等距离第3组小36×2820×20远距离、遮挡、小尺寸手机这些anchor被写入models/yolov3-spp.cfg的[yolo]层段中[yolo] mask 0,1,2 anchors 124,92, 68,54, 36,28 classes 1 num 3 ...提示mask 0,1,2表示使用全部3组anchor而非原始YOLOv3的mask 6,7,8对应COCO大目标。若训练时出现大量低置信度预测conf 0.1需检查anchor是否与实际bbox尺寸分布匹配——可运行utils/cluster_anchors.py重新聚类。3.2 训练超参数设置与硬件适配train.py支持命令行参数覆盖默认配置针对单卡GTX10606GB显存优化python train.py \ --data data/playphone.yaml \ --cfg models/yolov3-spp.cfg \ --weights weights/yolov3-spp-ultralytics.pt \ # COCO预训练权重 --batch-size 16 \ --img 640 \ --epochs 100 \ --name playphone_yolov3_spp \ --cache-images \ --rect \ --evolve关键参数说明--batch-size 16在6GB显存下--img 640时最大可行batch size。若使用RTX309024GB可提升至64加速收敛。--cache-images将图像预加载至内存避免IO瓶颈。需确保系统RAM ≥ 16GB。--rect启用矩形推理非正方形resize减少图像变形提升小目标检测精度约2.3%实测。--evolve启动超参数进化自动搜索最优学习率、momentum等耗时增加30%但mAP提升1.8%。训练过程中common.py的ModelEMA类启用指数移动平均EMA衰减系数0.9999使模型权重更稳定。Loss曲线显示前20 epoch为warmup阶段学习率线性上升之后采用cosine退火调度。3.3 PR曲线与Loss分析如何判断模型是否过拟合训练完成后plots.py自动生成results.png其中PR曲线Precision-Recall Curve是核心评估依据。本项目在验证集500张图像上的PR曲线关键点如下IoU阈值PrecisionRecallF1-score0.50.8120.8210.8160.750.6940.6320.6610.90.3210.2180.259注意F1-score在IoU0.5时达0.816表明模型在常规检测任务中表现稳健但IoU0.9时F1骤降至0.259说明精确定位像素级对齐仍有提升空间——这正是小目标检测的固有挑战建议后续引入FPN或BiFPN增强特征金字塔。Loss曲线则分为三部分Box LossGIoU Loss反映bbox回归精度理想状态是平滑下降至0.5以下Obj Loss二分类Loss反映前景/背景区分能力应快速收敛至0.05以下Cls Loss类别Loss因仅1个类别此项极小0.01主要验证类别标签无误。若Obj Loss持续高于0.1需检查datasets.py中get_target()函数是否正确生成objectness标签若Box Loss在后期震荡可能是anchor尺寸与真实bbox不匹配。4. PyQT5检测界面开发与实时推理优化4.1 界面架构从视频流捕获到结果渲染的全链路detect_gui.py构建了一个轻量级GUI核心流程为QVideoWidget捕获摄像头/视频流 →QThread后台执行YOLOv3推理 →QGraphicsScene渲染带bbox的图像。关键在于避免主线程阻塞我们采用信号槽机制解耦# detect_gui.py class DetectionWorker(QObject): result_signal pyqtSignal(np.ndarray, list) # 图像, [(x1,y1,x2,y2,conf,cls)] def __init__(self, model_path: str, conf_thres: float 0.5): super().__init__() self.model torch.load(model_path, map_locationcpu)[model].float() self.conf_thres conf_thres def run(self): cap cv2.VideoCapture(0) # 默认摄像头 while True: ret, frame cap.read() if not ret: break # 推理此处省略预处理细节见common.py的letterbox函数 img_tensor preprocess(frame) # 归一化resizebatch pred self.model(img_tensor)[0] # [1, n, 6] - [x1,y1,x2,y2,conf,cls] # NMS后筛选 det non_max_suppression(pred, self.conf_thres, 0.45)[0] # 发送结果 self.result_signal.emit(frame, det.cpu().numpy()) class MainWindow(QMainWindow): def __init__(self): super().__init__() self.worker DetectionWorker(weights/playphone_yolov3_spp.pt) self.thread QThread() self.worker.moveToThread(self.thread) self.worker.result_signal.connect(self.display_result) self.thread.started.connect(self.worker.run) def display_result(self, frame: np.ndarray, det: np.ndarray): # 在frame上绘制bbox for *xyxy, conf, cls in det: label fplay_phone {conf:.2f} plot_one_box(xyxy, frame, labellabel, color(0,255,0), line_thickness2) # 转为QImage显示 h, w, ch frame.shape bytes_per_line ch * w qt_img QImage(frame.data, w, h, bytes_per_line, QImage.Format_RGB888).rgbSwapped() self.video_label.setPixmap(QPixmap.fromImage(qt_img))4.2 实时性优化CPU/GPU推理切换与帧率控制默认情况下DetectionWorker在CPU上运行以保证兼容性。若需GPU加速修改__init__中的设备加载self.model torch.load(model_path, map_locationcuda:0)[model].float().cuda() # 并在preprocess中添加 .cuda() img_tensor preprocess(frame).cuda()但需注意cv2.VideoCapture读帧与torch.cuda.synchronize()存在隐式同步开销。实测在GTX1060上纯GPU模式帧率仅22FPS而启用--halfFP16推理后提升至38FPS# 在run()方法中 if torch.cuda.is_available(): self.model.half() # 启用半精度 img_tensor img_tensor.half().cuda() pred self.model(img_tensor)[0].float() # 输出转回FP32提示FP16推理需确保CUDA版本≥10.1且驱动支持Tensor Core。若出现NaN输出关闭--half并检查显存是否溢出nvidia-smi监控。5. 模型部署与跨平台验证技巧5.1 权重导出为ONNX并验证等效性为适配边缘设备如Jetson Nano需将PyTorch权重转为ONNX格式。本项目提供export_onnx.py脚本关键在于固定输入尺寸与消除动态op# export_onnx.py import torch import onnx from models import Darknet model Darknet(models/yolov3-spp.cfg, 1) model.load_state_dict(torch.load(weights/playphone_yolov3_spp.pt, map_locationcpu)[model].state_dict()) model.eval() # 创建dummy input必须指定batch1, channel3, height640, width640 dummy_input torch.randn(1, 3, 640, 640) # 导出ONNX禁用dynamic_axes以保证静态shape torch.onnx.export( model, dummy_input, weights/playphone_yolov3_spp.onnx, opset_version11, do_constant_foldingTrue, input_names[input], output_names[output], dynamic_axesNone # 强制静态shape ) # 验证ONNX与PyTorch输出一致性 ort_session onnxruntime.InferenceSession(weights/playphone_yolov3_spp.onnx) ort_inputs {ort_session.get_inputs()[0].name: dummy_input.numpy()} ort_outs ort_session.run(None, ort_inputs) pt_out model(dummy_input).detach().numpy() print(ONNX与PyTorch输出最大误差:, np.max(np.abs(ort_outs[0] - pt_out)))注意YOLOv3的upsample层在ONNX中需替换为Resizeexport_onnx.py已内置该替换逻辑。若验证误差1e-4检查models/common.py中Upsample类是否被正确重写。5.2 Windows/Linux/macOS跨平台检测结果一致性验证不同系统下OpenCV的图像解码可能存在细微差异如JPEG色彩空间导致同一张图在Linux上mAP78.3%而在Windows上降至76.1%。我们通过以下步骤确保一致性统一解码参数在datasets.py的LoadImagesAndLabels.__getitem__中强制指定色彩空间img cv2.imdecode(np.frombuffer(img_bytes, np.uint8), cv2.IMREAD_COLOR) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 统一为RGB标准化预处理common.py的letterbox函数禁用OpenCV的INTER_AREA插值因其跨平台行为不一致改用INTER_LINEAR# 替换原代码中的 cv2.INTER_AREA resized cv2.resize(img, new_unpad, interpolationcv2.INTER_LINEAR)验证脚本test_cross_platform.py加载同一张测试图在各系统上运行推理并比对bbox坐标允许±1像素误差# 生成标准测试集 test_img cv2.imread(test_samples/phone_001.jpg) torch_out model(preprocess(test_img).unsqueeze(0)).cpu().numpy() np.save(test_samples/phone_001_pt.npy, torch_out) # 各平台运行后比对 onnx_out np.load(test_samples/phone_001_onnx.npy) assert np.allclose(torch_out, onnx_out, atol1e-3), 跨平台输出不一致最终在Windows 10OpenCV 4.5.5、Ubuntu 20.04OpenCV 4.5.4、macOS MontereyOpenCV 4.5.5上同一测试集的mAP0.5波动范围控制在±0.4%以内满足工业部署要求。本文还有配套的精品资源点击获取