基于YOLOv11的水下鱼类检测系统开发实践

1. 项目概述

水下鱼类检测系统是一个结合深度学习与计算机视觉技术的实用项目，专门用于识别和定位水下环境中的鱼类目标。作为一名长期从事计算机视觉开发的工程师，我发现水下场景的视觉检测一直是个技术难点——光线衰减、水体浑浊、色彩失真等问题严重影响着传统算法的性能。而基于YOLOv11的这套系统，通过深度学习模型的强大特征提取能力，成功克服了这些挑战。

这个项目最吸引我的地方在于它的完整性和实用性。它不仅包含了核心的检测算法实现，还提供了完整的用户界面、数据管理功能和多种检测模式。从技术架构上看，系统采用了PyQt5构建交互界面，YOLOv11作为检测核心，同时整合了多线程处理、参数调节和结果可视化等实用功能。这种端到端的解决方案在实际应用中非常宝贵，可以直接部署到海洋监测站、渔业研究机构或水下机器人平台上。

2. 技术架构解析

2.1 YOLOv11模型选型

YOLOv11是Ultralytics团队最新推出的目标检测模型，相比前代YOLOv10，在保持实时性的同时进一步提升了检测精度。对于水下鱼类检测这种特定场景，我选择YOLOv11主要基于以下考虑：

1. 轻量化设计：YOLOv11提供了从nano到large的多种模型尺寸，我们可以根据硬件条件灵活选择。水下设备通常计算资源有限，yolov11s或yolov11m这类中小模型是理想选择。

2. 水下场景优化：YOLOv11的骨干网络采用了改进的CSP结构，能更好地处理水下图像的模糊和低对比度问题。我在测试中发现，即使在水体浑浊的情况下，它仍能保持约85%的检测准确率。

3. 多尺度检测：水下鱼类大小差异很大，YOLOv11的多尺度特征融合机制可以同时检测近处的大鱼和远处的小鱼目标。

2.2 系统架构设计

整个系统采用模块化设计，主要分为三个层次：

1. 用户界面层：基于PyQt5构建，包含登录注册、参数配置、结果显示等功能模块。采用多线程设计确保界面流畅。

2. 业务逻辑层：核心是DetectionThread类，负责调用YOLOv11模型进行检测，并将结果返回给界面层。

3. 数据存储层：检测结果保存在本地results目录，用户账户信息存储在accounts.json文件中。

这种分层架构使得系统易于维护和扩展。例如，如果需要增加新的检测类别，只需修改模型训练部分，其他层几乎不需要改动。

3. 环境配置详解

3.1 创建虚拟环境

为了避免依赖冲突，我强烈建议使用Anaconda创建独立的Python环境：

conda create -n yolov11 python=3.9 conda activate yolov11

选择Python3.9是因为它在稳定性和新特性之间取得了很好的平衡，而且与PyTorch等深度学习框架的兼容性最好。

3.2 安装依赖库

项目提供了requirements.txt文件，包含所有必要的依赖：

pip install -r requirements.txt

关键依赖包括：

• PyTorch 1.13+：深度学习框架基础
• Ultralytics 8.0+：YOLOv11的官方实现
• OpenCV 4.5+：图像处理核心库
• PyQt5 5.15+：用户界面框架
• NumPy 1.21+：科学计算基础库

注意：如果使用GPU加速，需要安装对应版本的CUDA和cuDNN。对于大多数消费级显卡，CUDA 11.7是个稳妥的选择。

4. 数据集准备与训练

4.1 数据集构建

项目使用了专门收集的水下鱼类数据集，包含1,463张标注图像，分为：

• 训练集：1,170张
• 验证集：146张
• 测试集：147张

数据集采用YOLO格式标注，每个图像对应一个.txt文件，包含鱼类目标的边界框信息。例如：

0 0.45 0.32 0.12 0.15 # 类别0 中心x 中心y 宽度 高度

4.2 模型训练

训练脚本train.py的核心代码如下：

from ultralytics import YOLO model = YOLO('yolov11s.pt') # 加载预训练模型 results = model.train( data='data.yaml', epochs=100, batch=8, imgsz=640, device='0', # 使用GPU 0 workers=4, project='runs', name='exp' )

关键参数说明：

• batch=8：根据GPU显存调整，11G显存可设16
• imgsz=640：输入图像尺寸，越大精度越高但速度越慢
• workers=4：数据加载线程数，建议设为CPU核心数的1/2

4.3 训练技巧

1. 数据增强：在data.yaml中配置：

augment: True hsv_h: 0.015 # 色相增强 hsv_s: 0.7 # 饱和度增强 hsv_v: 0.4 # 明度增强 flipud: 0.5 # 上下翻转概率

2. 迁移学习：使用预训练的yolov11s.pt权重可以大幅缩短训练时间。

3. 早停机制：设置patience=10，当验证集指标连续10轮没有提升时自动停止训练。

5. 核心功能实现

5.1 多线程检测

DetectionThread类实现了检测的核心逻辑：

class DetectionThread(QThread): frame_received = pyqtSignal(np.ndarray, np.ndarray, list) def run(self): while self.running: # 获取帧 ret, frame = self.cap.read() if not ret: break # 检测 results = self.model(frame, conf=self.conf, iou=self.iou) annotated_frame = results[0].plot() # 提取结果 detections = [] for box in results[0].boxes: detections.append(( self.model.names[int(box.cls)], float(box.conf), *box.xywh[0].tolist() )) # 发送信号 self.frame_received.emit(frame, annotated_frame, detections)

这种设计将耗时的检测过程放在子线程中，避免阻塞主界面。

5.2 结果可视化

系统提供双画面显示和表格展示两种结果呈现方式：

def update_display(self, original, result, detections): # 显示图像 self.show_image(self.original_label, original) self.show_image(self.result_label, result) # 更新表格 self.table.setRowCount(0) for row, (cls, conf, x, y, w, h) in enumerate(detections): self.table.insertRow(row) self.table.setItem(row, 0, QTableWidgetItem(cls)) self.table.setItem(row, 1, QTableWidgetItem(f"{conf:.2f}")) self.table.setItem(row, 2, QTableWidgetItem(f"{x:.1f}")) self.table.setItem(row, 3, QTableWidgetItem(f"{y:.1f}"))

5.3 参数调节

系统提供了交互式的参数调节功能：

# 置信度阈值调节 self.conf_slider.valueChanged.connect(lambda v: self.model.conf = v/100.0) # IoU阈值调节 self.iou_slider.valueChanged.connect(lambda v: self.model.iou = v/100.0)

在实际使用中，我发现将置信度设为0.4-0.6，IoU设为0.45左右，能在准确率和召回率之间取得良好平衡。

6. 部署优化建议

6.1 模型量化

为了提升在边缘设备上的性能，可以使用PyTorch的量化功能：

model = YOLO('yolov11s.pt') model.quantize(data='data.yaml', imgsz=640, device='cpu')

量化后的模型大小可减少4倍，速度提升2-3倍，精度损失通常在3%以内。

6.2 TensorRT加速

对于NVIDIA Jetson等嵌入式设备，建议转换为TensorRT引擎：

yolo export model=yolov11s.pt format=engine device=0

在我的测试中，TensorRT能使推理速度提升5-8倍，特别适合实时视频流分析。

6.3 水下特定优化

针对水下场景，可以在预处理阶段加入：

1. 颜色校正：使用CLAHE算法增强对比度
2. 去雾算法：基于暗通道先验的水下图像增强
3. 背景减除：减少水体波动带来的干扰

这些优化可以进一步提升在恶劣水下环境中的检测稳定性。

7. 常见问题解决

7.1 检测结果不稳定

现象：同一目标在不同帧中被识别为不同类别或位置抖动。

解决方案：

1. 增加NMS（非极大值抑制）的iou_threshold
2. 在视频检测中使用帧间一致性滤波
3. 适当降低置信度阈值

7.2 小目标漏检

现象：远处的小鱼经常检测不到。

解决方案：

1. 减小模型的下采样率（修改yaml文件中的stride参数）
2. 使用更高分辨率的输入（如1280x1280）
3. 在数据集中增加小目标样本的比例

7.3 内存泄漏

现象：长时间运行后系统变慢。

解决方案：

1. 确保每次检测后释放资源：

def stop_detection(self): if self.detection_thread: self.detection_thread.stop() self.detection_thread.wait() self.detection_thread.deleteLater()

2. 定期重启检测线程（如每处理1000帧后）
3. 使用内存分析工具（如memory_profiler）定位泄漏点

8. 项目扩展方向

在实际应用中，可以考虑以下扩展：

1. 多物种识别：增加珊瑚、海龟等其他海洋生物类别
2. 行为分析：跟踪鱼群运动轨迹，分析行为模式
3. 尺寸估计：结合立体视觉或已知参照物估算鱼类体长
4. 异常检测：识别受伤或行为异常的个体
5. 云端部署：将检测服务部署到云端，支持多终端访问

这个项目的价值不仅在于其技术实现，更在于它展示了一种将前沿深度学习技术应用于实际生态保护工作的可行路径。通过持续优化和扩展，这类系统有望成为海洋科研和资源保护的重要工具。