简介这份江豚图像数据集面向从事计算机视觉与生态保护交叉研究的科研人员、高校师生及机器学习开发者可用于训练目标检测、图像分类与语义分割模型辅助开展江豚种群识别、行为分析和栖息地监测。压缩包共两千个文件主要包含PNG格式的江豚图像、XML格式的标注文件及少量TXT说明文本整体大小约七百八十四兆字节图像与标注一一对应存放在JPEGImages和Annotations目录下。目前已有114人学习使用适合作为基准数据集复现实验或构建自定义识别器。资源最大的价值在于图像与标注严格配套免去手动标注成本利用卷积神经网络等方法即可自动提取江豚形态与行为特征为珍稀物种保护提供定量化数据支持同时也有助于推动细粒度图像识别技术的发展。1. 江豚数据集野外影像里能挖出的不止是检测框做长江江豚监测的研究组或者保护区智能巡检系统的开发人员十有八九卡在同一个地方模型选型不难难的是拿到一批真实、能直接进训练流程的江豚影像。江豚生性怕船水面只露背鳍两三秒现场采集成本高公开数据里又找不到这个类别。这份江豚数据集相当于把野外拍摄、帧筛选、人工标注这几道最费时的工序替你走完了一遍。它能支撑的目标检测、个体识别、行为计数基本覆盖了从科研统计到设备效果评估的常见用途。适合要做目标检测基线、写毕业论文实验、或者给监测样机跑算法验证的从业者也适合刚入门想找一份高质量生态数据练手的同学。2. 数据摸底目录结构、标签格式与第一个校验脚本拿到数据先别急着训练。我见过太多人把压缩包解压后直接扔给训练脚本两天后回来发现类别数对不上、坐标全乱回头重来。生态影像数据集和公开榜单数据集不一样标注人员往往是分段标、分批导出的格式和命名连不起来的情况非常多。这章做的事情就是花半小时把家底摸清后面所有实验都建立在数据是干净的这个前提上。2.1 目录里通常藏着什么解压后先跑一棵目录树看整体布局。常见做法是先执行这条命令tree -L 2 dataset/这条命令把两级目录结构完整打出来。大部分生态数据集会按images/、annotations/、videos/三类组织videos里是原始录像或截帧用的素材images是筛选后的关键帧annotations是与之对应的标注文件。我一般会再执行一次du -sh dataset/*确认哪部分占空间大。如果annotations只有几十 KB 而images有好几个 GB说明标注数量相对图片总数偏少大概率是有人没标完就导出了这种情况要重点关注。命名也值得扫一眼。find dataset/images -name *.jpg | head -20能快速发现命名是否统一。常见命名有frame_000012.jpg和20230615_station03_0421.jpg两类后者带拍摄日期和站位信息对后面按视频或者按拍摄批次划分训练集验证集非常有用。如果命名里带站点或批次字段我建议先手动记下来第 3 章的划分策略会用到这个信息。2.2 标注格式VOC、COCO、YOLO 各有各的坑生态类数据集交付的标注格式不统一最常见的是 VOC 的 XML、COCO 的 JSON 和 YOLO 的 txt 三类。它们表示同一个框的方式完全不同混用是翻车重灾区。三者的核心差异我整理成了下面这张表转换前先对着看一遍能少踩一半的坑。格式文件形态坐标体系最容易踩的坑VOC每张图对应一个.xml像素绝对值x1, y1, x2, y2忘了归一化就直接丢给训练脚本COCO一个.json包含全部图片和标注像素级[x, y, w, h]类别id从 0 还是从 1 开始容易混乱YOLO每张图对应一个.txt归一化cx, cy, w, hx, y是中心点不是左上角很多人直接照抄 VOC 坐标江豚数据的标注里除了框之外经常带一条只属于生态场景的属性信息例如成年个体和幼体的区分、背鳍是否完整可见、水面反光是否严重。这类属性在 VOC 里通常存放在object的子节点下在 COCO 里则以attributes字段存在。转换格式之前要把这些属性单独备份一份因为 YOLO 的 txt 格式本身不支持额外属性一旦转过去属性信息就找不回来了。我自己处理时会先把所有标注里出现的类别名称统计一遍。VOC 格式下执行一段极短的解析就能完成grep -rh name dataset/annotations/ | sort | uniq -c这段命令统计所有标注文件里出现了哪些类别以及每个类别出现的次数。正常情况应该只有一类fin或者porpoise。如果混进了water、boat、person这类多余类别说明标注时框选范围超出了目标本身需要决定是保留还是剔除。江豚目标检测场景里我通常只保留背鳍类因为研究目标和计数逻辑都围绕背鳍展开。2.3 校验脚本标坏了不如不标不管标注格式是什么先跑一次完整校验把三类问题一次性暴露出来图片打不开、坐标越界、框宽高为 0。这类问题在手动标注的数据集里几乎必然存在我在两个不同的生态数据集上都遇到过无宽高的空框YOLO 训练遇到这种框 loss 一下变成 NaN。下面的脚本以 VOC 格式为例逐文件解析 XML 并和真实图像尺寸做比对import os import cv2 import xml.etree.ElementTree as ET data_dir dataset image_dir os.path.join(data_dir, images) annot_dir os.path.join(data_dir, annotations) for xml_file in sorted(os.listdir(annot_dir)): path_xml os.path.join(annot_dir, xml_file) tree ET.parse(path_xml) root tree.getroot() img_name root.find(filename).text img_path os.path.join(image_dir, img_name) img cv2.imread(img_path) if img is None: print(图片损坏或不存在:, img_path) continue h, w img.shape[:2] for obj in root.iter(object): bnd obj.find(bndbox) x1 float(bnd.find(xmin).text) y1 float(bnd.find(ymin).text) x2 float(bnd.find(xmax).text) y2 float(bnd.find(ymax).text) if x1 0 or y1 0 or x2 w or y2 h: print(坐标越界:, xml_file, (x1, y1, x2, y2), 图像尺寸, (w, h)) if x2 - x1 1 or y2 - y1 1: print(疑似空框或过小框:, xml_file, (x1, y1, x2, y2))这段脚本的逻辑是解析每个 XML读取标注框后和真实图像尺寸比较只有三种输出图片损坏、坐标越界、空框。注意坐标比较时留了 1 像素容差因为标注时手抖把两个点画重合是常见误操作误差在 1 像素内直接忽略即可。若换成 COCO 格式改动只限于解析部分用pycocotools的loadAnns()同样能拿到坐标校验思路完全一致。跑完脚本之后还可以顺手算一下所有框的宽高分布这决定了后面训练分辨率怎么设。江豚目标的特点是背鳍细长且远处目标只有几十个像素计算方式很简单把所有标注框的宽度取中位数。如果框宽的中位数低于 30 像素说明这个数据集的小目标占比很高第 3 章里的输入分辨率就要往 1280 靠不能一直用默认的 640。3. 喂进模型之前视频级划分、格式转换与 YOLO 参数怎么设数据校验干净只是第一步接下来要做的三件事会直接决定模型的泛化上限按视频划分数据、把标注转成训练框架要的格式、把训练参数匹配到目标尺寸。这三步做错任何一步后面实验结果都会失真而且不容易察觉。3.1 按视频划分数据集防止数据泄漏的常规操作刚开始做目标检测的人习惯用train_test_split直接随机划分图片。这个做法在通用数据集上问题不大但换成生态影像数据就会埋雷同一段视频里相邻帧高度相似如果随机划分验证集里会出现和训练集几乎一样的画面训练时的 mAP 虚高一到实拍场景立刻打回原形。正确做法是按视频或者按拍摄片段为单位划分保证同一个视频的帧不会同时出现在训练集和验证集里。假设数据集是 COCO 格式且每张图片的file_name或video_id字段能追溯到来源视频划分脚本可以这样写import random import json from collections import defaultdict with open(annotations.json, r) as f: coco json.load(f) video_to_images defaultdict(list) for img_info in coco[images]: video_id img_info.get(video_id, img_info[file_name].split(_)[0]) video_to_images[video_id].append(img_info[id]) videos list(video_to_images.keys()) random.Random(42).shuffle(videos) n_val max(1, int(len(videos) * 0.2)) val_videos set(videos[:n_val]) train_videos set(videos[n_val:]) val_ids {i for v in val_videos for i in video_to_images[v]} train_ids {i for v in train_videos for i in video_to_images[v]} assert len(train_ids val_ids) 0, 存在泄漏同一视频被分到两侧 print(f训练视频 {len(train_videos)} 个图片 {len(train_ids)} 张验证视频 {len(val_videos)} 个图片 {len(val_ids)} 张)这段脚本的关键参数有两个。第一个是random.Random(42)固定随机种子是为了让每次划分结果一致实验可复现第二个是n_val取视频总数的 20%如果你的数据集只有十几个视频这个比例建议降到 10%或者直接留出两三个视频做验证优先保证训练集够用。划分完一定要跑一次assert因为它能拦住最大的坑同一个视频的帧被同时分到两侧。3.2 格式转换中心点坐标和类别索引是重灾区划分完成后要把标注转成训练框架要求的格式。以最常用的 YOLO txt 为例VOC 的x1, y1, x2, y2是左上角和右下角的像素坐标YOLO 需要的却是归一化后的中心点坐标和宽高。转换脚本不长细节容易错import os import xml.etree.ElementTree as ET def voc_to_yolo(xml_path, img_w, img_h): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.iter(object): cls_id 0 # 江豚数据集通常只有背鳍一类ID 从 0 开始 bnd obj.find(bndbox) x1 float(bnd.find(xmin).text) y1 float(bnd.find(ymin).text) x2 float(bnd.find(xmax).text) y2 float(bnd.find(ymax).text) x_center (x1 x2) / 2.0 / img_w y_center (y1 y2) / 2.0 / img_h width (x2 - x1) / img_w height (y2 - y1) / img_h lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}) return lines这段代码的核心是坐标转换公式中心点取坐标平均值再除以图像宽高宽高直接做差后归一化。三个最常犯的错都在这里第一x_center和y_center算的是中心点不是左上角加宽高的一半第二所有值都必须除以图像宽高完成归一化环境一的同学容易只归一化宽高坐标却忘了位置坐标第三类别 ID 从 0 开始而 COCO 格式里通常从 1 开始转换时一定要减 1。江豚这类单类数据集简单多类别时索引错一位模型训练到一半 loss 都降不下来。3.3 训练参数小目标多的数据集不能照搬默认值格式转换完就到了配置训练参数的环节。批注数据里框宽中位数如果低于 30 像素YOLO 默认的 640 输入分辨率会直接把目标缩到几乎看不见。我把这类数据集的常用参数整理在下面可以直接作为起点path: dataset/ train: train_images/ val: val_images/ names: 0: fin # 训练参数建议 img_size: 1280 # 前提升分辨率小目标优先 batch: 8 # 显存不够时从 16 减半到 8 epochs: 300 mosaic: 0.3 # 目标稀疏时大幅降低概率 close_mosaic: 15训练命令参考yolo detect train dataporpoise.yaml modelyolov8s.pt imgsz1280 batch8 epochs300 mosaic0.3 close_mosaic15 patience40参数表里最需要解释的是mosaic和close_mosaic。mosaic默认是 1.0即每张训练图都由四张图拼接而成这本是提升泛化能力的好办法但生态影像里每帧只有一到两个目标四张图拼完可能出现整张训练样本里一个真实目标都没有的情况模型容易学偏。我一般会把mosaic降到 0.3 以下并在训练最后 15 轮用close_mosaic15彻底关闭让模型在最后阶段回归到真实分布上进行微调。imgsz1280会让显存占用显著上升8G 显存下建议把batch降到 4 到 8或者改用yolov8n.pt作为预训练权重起步。4. 训练排查五个高发翻车点与参数修复训练生态影像数据集时曲线和指标经常会出现「看着能跑、实则全错」的迷惑现象。这五个排查点是我从实际项目里一条条记下来的每条都按现象、原因、解决三部分写方便照着对比自己遇到的是哪一种。4.1 mAP 挺高实拍时远处背鳍全漏现象验证集 mAP 能达到 0.85 以上但把模型部署到监测设备上几米外的江豚背鳍全部漏检置信度全在 0.1 以下。原因训练集的标注分布和真实场景不一致。人工标注时倾向于标清楚、近处的目标远处模糊的小目标大量没标或直接被忽略。模型学习到的是「清晰近景」的分布面对现实中的远距离小目标自然失效。解决把训练集里低于 30 像素的框单独筛出来看一遍确认这类样本不是零星存在而是确实缺失。如果缺失从原始视频里手动截取远处出现的片段用半自动标注先跑一个初版模型再用这个模型预测出候选框、人工修正后加回训练集。同时推理阶段把置信度阈值从默认的 0.25 降到 0.1配合时序平滑减少误检。4.2 验证集曲线像心电图现象训练 loss 平稳下降验证集的 mAP 曲线在相邻 epoch 之间上下剧烈跳动完全没有收敛趋势像心电图一样。原因划分数据时用了随机划分同一段视频里高度相似的连续帧被拆进训练集和验证集两侧。模型在训练集里见过几乎相同的画面对应验证集里那几张图的分数就特别高下一批没有相似帧时分数立刻掉下来形成剧烈抖动。解决回到第 3.1 节改成按视频或按拍摄批次划分。这是整个流程里最值得花时间重做的一步。重划分后验证集波动幅度通常会从正负 15% 缩到正负 3% 以内。4.3 小目标漏检anchor 匹配不上的玄学现象训练时 loss 能正常下降推理时远处的背鳍完全框不出来只有近景能检测到。原因小目标占比高的数据集里默认 anchor 或预设框尺寸集中在中等目标范围小目标与预设框的 IoU 匹配不上正样本数量不够。解决第一步训练时加上auto_anchorTrue让模型重新聚类出适配当前数据集的锚框第二步如果框宽中位数低于 20 像素把imgsz提到 1280 甚至 1536相当于变相放大目标第三步检查损失函数里的box_loss占比小目标场景下可以适当提高box_loss_gain让模型更关注框的回归精度。4.4 加数据增强反而掉点现象加了旋转、透视变换之后验证集准确率不升反降尤其是小目标漏检率明显上升。原因江豚背鳍本身就细长旋转增强会把长宽比弄得更极端透视变换则让本来只有几十像素的目标被拉伸或压缩标注框和实际内容错位。增强太激进模型学到的是扭曲的形状反而丢失了原始分布特征。解决针对细长目标控制旋转角度在正负 15 度以内关闭或降低透视变换概率保留水平翻转、色彩抖动和轻度噪声。我一般把hsv_h、hsv_s调高一点模拟不同光照把degrees从默认的 0.0 逐步加到 10.0每加一档跑一次验证集涨点才留下。4.5 loss 训练到一半变 NaN现象训练到第几十轮时 loss 突然变成nan日志里出现RuntimeError或者直接卡死。原因多数是标注数据里有坐标异常比如框宽为 0、坐标值等于图像边界或者是类别索引越界。这类坏样本在训练前期影响不大模型收敛到一定程度后异常梯度累积爆发。解决回看 2.3 节所有标注必须通过校验脚本再进训练。已经卡死的训练不用强行恢复修完数据重新训一轮这类数据集通常在下一轮前 50 个 epoch 就能恢复到卡死前的水准。另外一个冷门但真实的原因是图片里有 EXIF 旋转信息cv2.imread不自动矫正方向导致标注和像素错位训练脚本里建议强制cv2.imread(path, cv2.IMREAD_UNCHANGED)并检查宽高是否一致。5. 往研究深处走一步用检测框做江豚个体识别检测框解决了「哪里有江豚」但很多研究问题其实落在「这是哪一只」。江豚的背鳍形状和缺口特征类似鲸类的尾鳍同一个个体在不同时段拍摄到的背鳍轮廓有可比性。个体识别常见的做法是在检测框基础上做一个 ReID 分支先裁出背鳍区域再用特征提取模型把每张背鳍图压成一个向量最后用向量间的余弦相似度判断是否为同一个体。先按视频片段裁剪背鳍区域并按个体 ID 整理成目录然后加载一个在 ImageNet 上预训练的分类骨干直接抽取最后一层池化前的特征向量。江豚数据集样本量有限从头训练分类器容易过拟合特征提取加度量匹配是更现实的路径import torch import torchvision.models as models from torchvision import transforms from PIL import Image model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT) model.fc torch.nn.Identity() # 去掉分类头只拿特征向量 model.eval() transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) def get_feature(image_path): img Image.open(image_path).convert(RGB) with torch.no_grad(): feat model(transform(img).unsqueeze(0)) feat feat.squeeze().numpy() return feat / (feat 1e-6)这段代码的用意是先去掉fc层把 ResNet 当特征提取器用然后对每张背鳍图做一次前向输出一个 512 维的归一化特征。匹配时直接算两个特征向量的余弦相似度大于 0.7 视为同一个体小于 0.5 则视为不同个体。验证方法也简单取同一个视频片段里间隔较远的帧如果相似度稳定在 0.7 以上说明特征提取可靠如果同一只的相似度只有 0.4说明裁剪质量不过关回看检测框是否框偏了。做这一步的时候我有过一次血泪教训一开始直接拿整张影像图提特征结果两只不同的江豚相似度高达 0.9原因就是背景水流占了画面大部分特征基本都在学水流纹理。从那以后我每次做个体识别都强制走一遍「先精确裁剪背鳍再提特征」的流程背景干扰的影响立刻小了一个量级。这套从检测到识别的链路配合这份数据集完整跑通之后研究里的计数、停留时长、个体回归周期就都能用数据说话了。希望帮到你。本文还有配套的精品资源点击获取