简介本资源是一套基于Swin-Transformer改进YOLOv7的电力杆塔目标检测系统面向人工智能、自动化、电子信息等专业的学生、教师及工程技术人员解决输电线路巡检中杆塔小目标识别精度低、遮挡鲁棒性差等实际问题。压缩包共20个文件含8个核心Python脚本如detect.py、export.py、convert.py等实现模型训练与部署、9张可视化结果图含检测效果对比与特征热力图、1份详细Word文档含原理说明、环境配置与实验分析、1份Markdown说明及1份PPT汇报材料整体仅2.83MB轻量易上手。已有336人学习下载资源源自高分毕业设计项目答辩96分代码经实测可直接运行配套文档结构清晰、注释完整并包含数据整理脚本与模块化工具函数便于读者快速复现、调试及二次开发。1. 为什么电力杆塔识别不用纯CNN而要塞进Swin-Transformer在输电线路巡检场景里无人机或巡检车拍回的图像常面临小目标密集、背景杂乱山林/云层/电线干扰、光照不均、杆塔姿态倾斜等现实问题。传统YOLOv7虽快但主干网络CSPDarknet53对长距离依赖建模能力弱——它靠堆叠卷积感受野却难以区分“远处一根细电线”和“近处杆塔横担”的语义层级。而Swin-Transformer的滑动窗口注意力机制天然适合处理这类多尺度结构它把图像切块后在局部窗口内做自注意力再通过移位窗口实现跨区域信息交互既控制计算量又保留全局上下文。本项目不是简单拼接Swin和YOLOv7而是将Swin-T的Stage2/Stage3输出作为YOLOv7 Neck的输入源替代原CSPDarknet的P3/P4特征图让检测头能同时看到“杆塔整体结构”和“绝缘子串局部纹理”。实测在自建的2176张电力杆塔数据集上mAP0.5提升3.8%漏检率下降12.6%尤其对被树枝遮挡的塔基识别准确率从71.3%升至89.1%。适合需要部署到边缘设备如Jetson Orin又要求高精度的电力AI项目组也适合作为CV方向课程设计中“Transformer与检测模型融合”的完整范例。2. Swin-Transformer与YOLOv7的特征融合架构设计2.1 为什么选Swin-T而非ViT或PVTViT直接将整图分块线性投影计算复杂度为O(N²)在1024×768分辨率下GPU显存占用超12GB无法适配YOLOv7的实时推理需求PVT虽引入金字塔结构但其空间缩减策略导致高频细节丢失严重对绝缘子串这类毫米级部件定位误差达±15像素。Swin-T通过移位窗口划分Shifted Window Partition和相对位置编码Relative Position Bias实现两点突破一是将全局注意力分解为多个局部窗口内计算使复杂度降至O(N)二是通过窗口移位强制跨窗口信息流动避免特征割裂。本项目采用Swin-T-tiny层数4通道数[96,192,384,768]其Stage2输出H/8×W/8×192和Stage3输出H/16×W/16×384分别对应YOLOv7的P3/P4层尺寸匹配度达100%无需额外插值。提示Swin-T-tiny的参数量仅28M比ResNet5025.6M略高但特征表达能力显著优于后者。若需进一步压缩可将Stage3输出通道数从384减至256实测mAP仅下降0.7%但推理速度提升11%。2.2 Neck层重构从FPN到Swin-FPN的适配改造YOLOv7原Neck采用PANet结构路径聚合依赖上采样拼接。当接入Swin-T特征时必须解决三个关键适配问题通道对齐Swin-T Stage2输出为192维而YOLOv7 P3层期望256维 → 添加1×1卷积升维nn.Conv2d(192, 256, 1)分辨率校准Swin-T Stage3输出为H/16×W/16但YOLOv7 P4层需H/16×W/16 → 无需调整直接接入跨尺度连接原PANet中P4→P3上采样使用最近邻插值易产生锯齿 → 改用双线性插值3×3卷积nn.Upsample(scale_factor2, modebilinear) nn.Conv2d(384, 256, 3, padding1)核心代码位于models/yolo.py第127行# Swin-FPN特征融合模块 self.spp SPPF(384, 384) # 对Swin-T Stage3输出做空间金字塔池化 self.conv1 Conv(384, 256, 1) # Stage3→P4通道映射 self.conv2 Conv(192, 256, 1) # Stage2→P3通道映射 self.upsample nn.Upsample(scale_factor2, modebilinear) # 替代原nearest插值 self.conv3 Conv(256, 256, 3, 1) # 上采样后平滑卷积该设计使P3层获得双重信息来自Swin-T Stage2的原始局部特征经conv2来自Stage3上采样的全局语义经spp→conv1→upsample→conv3。消融实验显示此结构比单纯替换主干网络提升mAP 2.3%证明特征融合策略比主干替换本身更重要。2.3 Head层损失函数优化针对电力杆塔的IoU变体电力杆塔存在大量细长结构如避雷线、拉线标准CIoU在计算长宽比差异时权重过高导致模型过度关注拉线而忽略塔身主体。本项目采用EIoUEnhanced IoU其损失公式为EIoU 1 - IoU (ρ²(b_{pred}, b_{gt}) / c²) (ρ²(ω_{pred}, ω_{gt}) / c_w²) (ρ²(h_{pred}, h_{gt}) / c_h²)其中c_w,c_h为预测框与真实框宽高的最大差值ρ²为欧氏距离平方。该设计将宽高误差解耦使模型更关注塔身主体的定位精度。在utils/loss.py中实现如下def compute_ious(pred_boxes, gt_boxes): # pred_boxes: [N, 4], gt_boxes: [M, 4] iou bbox_iou(pred_boxes, gt_boxes) # 基础IoU计算 w_pred, h_pred pred_boxes[:, 2], pred_boxes[:, 3] w_gt, h_gt gt_boxes[:, 2], gt_boxes[:, 3] cw torch.max(w_pred, w_gt) # 宽度最大差值 ch torch.max(h_pred, h_gt) # 高度最大差值 cw_sq, ch_sq cw**2, ch**2 # 宽高误差项避免除零 wh_loss ((w_pred - w_gt)**2 / (cw_sq 1e-6)) ((h_pred - h_gt)**2 / (ch_sq 1e-6)) return iou - wh_loss # EIoU核心IoU减去解耦的宽高误差训练时将compute_ious返回值作为正样本匹配依据并在总损失中加权λ0.8实测对拉线误检率降低27%塔身定位误差从±8.3px降至±5.1px。3. 数据准备与模型训练全流程实操3.1 电力杆塔数据集构建规范本项目配套的_整理数据文件夹结构.py脚本强制执行以下目录结构dataset/ ├── images/ │ ├── train/ # 1523张JPEG图像含无人机航拍/地面斜拍/雾天图像 │ └── val/ # 653张JPEG图像覆盖不同季节、光照条件 └── labels/ ├── train/ # YOLO格式txt标签class_id x_center y_center width height归一化 └── val/关键约束图像分辨率统一为1280×960非原始尺寸因Swin-T对输入尺寸敏感需保证H/W被32整除1280÷3240, 960÷3230标签质量三原则每个杆塔必须标注完整塔身含基础、塔腿、横担禁止只标横担绝缘子串单独标注为class_id1塔身为0因二者材质反射特性差异大被遮挡区域用虚线框标注但坐标仍按可见部分外接矩形计算。运行_整理数据文件夹结构.py前需修改第12行# 修改此处为你的实际数据路径 src_img_dir rD:\power_tower_raw\images # 原始图像路径 src_label_dir rD:\power_tower_raw\labels # 原始标签路径 target_dir r./dataset # 输出路径脚本会自动完成① 图像重采样保持宽高比短边缩放至960长边按比例缩放后中心裁剪② 标签坐标同步变换含浮点精度校验误差0.001则报错③ 生成dataset.yaml含train/val路径、nc2、names[tower,insulator]。3.2 训练命令与超参配置详解训练入口为train.py核心命令如下python train.py \ --data dataset.yaml \ --cfg models/yolov7-swin.yaml \ --weights \ --batch-size 16 \ --epochs 150 \ --img 1280 960 \ --name yolov7-swin-power \ --device 0 \ --workers 4 \ --sync-bn \ --evolve参数说明--cfg models/yolov7-swin.yaml指定Swin-T增强版配置其中backbone段定义Swin-T结构neck段启用Swin-FPN--batch-size 16需至少24GB显存RTX 3090若显存不足可降为8但需将--workers同步减至2--img 1280 960必须与数据预处理尺寸严格一致否则Swin-T窗口划分错位--sync-bn启用同步批归一化解决多卡训练时BN统计量不一致问题--evolve启动超参进化自动搜索学习率lr0、动量momentum、权重衰减weight_decay最优组合。models/yolov7-swin.yaml关键配置节# Swin-T backbone配置 backbone: # [from, repeats, module, args] [[-1, 1, Conv, [32, 3, 1]], # 输入卷积 [-1, 1, SwinTransformer, [96, 4, [2, 2, 6, 2]]], # Swin-T-tiny: embed_dim96, depths[2,2,6,2] [-1, 1, Conv, [192, 3, 2]], # Stage2输出H/8×W/8×192 [-1, 1, SwinTransformerBlock, [192, 2]], # Stage3输入 [-1, 1, Conv, [384, 3, 2]], # Stage3输出H/16×W/16×384 ] neck: [[-1, 1, SPPF, [384, 384]], # Stage3输出先做SPPF [-1, 1, Conv, [256, 1, 1]], # 映射至P4 [-2, 1, Conv, [256, 1, 1]], # Stage2输出映射至P3 # 后续为PANet结构已适配Swin特征 ]3.3 训练过程监控与收敛判断训练日志中需重点关注三项指标指标正常范围异常征兆应对措施BoxLoss0.02~0.080.15持续5轮检查标签坐标是否越界x,y,w,h∈[0,1]ObjLoss0.03~0.120.01且ClassLoss0.2存在类别不平衡增加insulator类权重Precision≥0.85波动0.1关闭--evolve固定学习率验证集val_batch0_labels.jpg可视化结果位于runs/train/yolov7-swin-power/val_batch0_labels.jpg应呈现绿色框塔身紧密包裹塔基至横担顶部无明显偏移红色框绝缘子精准覆盖瓷裙区域不包含金属端部虚线框遮挡仅出现在树冠/云层覆盖区且框内无其他物体。若出现大量红色框漂移至塔身金属架说明EIoU中宽高误差权重过高需在utils/loss.py中将wh_loss系数从1.0调至0.6。4. 模型部署与电力场景实战调优4.1 ONNX导出与TensorRT加速export.py支持一键导出ONNX并优化TensorRT引擎python export.py \ --weights runs/train/yolov7-swin-power/weights/best.pt \ --include onnx \ --img-size 1280 960 \ --batch-size 1 \ --simplify \ --opset 12 \ --trt关键参数解析--simplify启用onnx-simplifier消除冗余算子如连续的Reshape→Transpose--opset 12ONNX版本需≥12因Swin-T的torch.nn.functional.scaled_dot_product_attention在opset11中未定义--trt自动生成TensorRT引擎best.engine支持FP16精度默认开启。生成的best.engine在Jetson Orin上实测输入尺寸FPS显存占用mAP0.51280×96024.31.8GB89.7%960×72038.61.2GB87.2%注意首次运行--trt需编译TensorRT插件耗时约8分钟。若报错Assertion failed: scales.is_weights()需升级TensorRT至8.6.1因旧版本不支持Swin-T的动态缩放操作。4.2 电力巡检视频流处理Pipelinedetect.py提供面向视频流的低延迟推理方案核心逻辑在video_inference()函数def video_inference(source, weights, img_size1280): # 初始化TRT引擎避免每帧重复加载 engine TRTInference(weights.replace(.pt, .engine)) cap cv2.VideoCapture(source) while cap.isOpened(): ret, frame cap.read() if not ret: break # 预处理保持宽高比缩放中心裁剪与训练一致 resized letterbox(frame, img_size)[0] # letterbox函数在common.py中定义 # TRT推理含NMS后处理 pred engine.infer(resized) # 返回[x1,y1,x2,y2,conf,class_id] # 电力场景特有后处理 filtered_pred filter_by_aspect_ratio(pred, min_ratio0.1, max_ratio5.0) # 剔除过扁/过长框 tower_boxes [p for p in filtered_pred if p[5]0] # 仅塔身框 if len(tower_boxes) 0: # 计算塔身倾斜角基于横担两端点连线 angle calculate_tilt_angle(tower_boxes[0]) if abs(angle) 15: # 倾斜超15度触发告警 send_alert(塔身倾斜, frame, angle) # 可视化叠加 draw_results(frame, pred) cv2.imshow(Power Tower Detection, frame) if cv2.waitKey(1) ord(q): break cap.release() cv2.destroyAllWindows()letterbox()函数common.py第42行确保预处理与训练完全一致def letterbox(img, new_shape(1280, 960), color(114, 114, 114)): shape img.shape[:2] # original shape if isinstance(new_shape, int): new_shape (new_shape, new_shape) r min(new_shape[0] / shape[0], new_shape[1] / shape[1]) # ratio new_unpad int(round(shape[1] * r)), int(round(shape[0] * r)) dw, dh new_shape[1] - new_unpad[0], new_shape[0] - new_unpad[1] # wh padding dw / 2 dh / 2 if shape[::-1] ! new_unpad: img cv2.resize(img, new_unpad, interpolationcv2.INTER_LINEAR) top, bottom int(round(dh - 0.1)), int(round(dh 0.1)) left, right int(round(dw - 0.1)), int(round(dw 0.1)) img cv2.copyMakeBorder(img, top, bottom, left, right, cv2.BORDER_CONSTANT, valuecolor) return img4.3 边缘设备部署技巧内存与精度平衡在Jetson Orin部署时常遇显存不足导致cudaErrorMemoryAllocation。除降低--batch-size外本项目提供三阶优化方案优化层级操作效果风险L1输入尺寸压缩将--img 1280 960改为--img 960 720FPS↑58%显存↓32%mAP↓2.5%对小塔身漏检率↑3.1%L2FP16量化在export.py中添加--half参数推理速度↑1.8倍显存↓45%需确认TensorRT版本≥8.4否则精度损失5%L3Swin-T轻量化修改models/yolov7-swin.yaml中depths[2,2,6,2]为[1,1,2,1]参数量↓63%FPS↑2.3倍mAP↓6.8%仅适用于远距离粗检实测推荐组合L1L2960×720FP16在Orin上达成38.6 FPS且mAP保持87.2%满足巡检车25km/h行驶时单帧处理时间26ms的要求。若需更高精度可启用L1L2动态分辨率当检测到塔身置信度0.7时自动切回1280×960尺寸重检该策略使综合mAP达88.9%平均FPS仍维持31.2。最后验证模型鲁棒性的最简方法将test_images/中的0ef73c2ce8964306b2a49c498e031465.png雾天图像和dab9e9bd21344201aaf1259bf72c4ccf.png强光反光图像放入detect.py的测试路径观察是否仍能稳定输出塔身框。若出现大面积漏检优先检查common.py中letterbox函数的padding颜色是否设为(114,114,114)——这是YOLOv7训练时的默认灰度值与Swin-T的归一化参数对齐。本文还有配套的精品资源点击获取