简介面向深度学习与计算机视觉学习者的图像分割数据集配套U-Net网络实现适合医学影像、遥感图像等场景的像素级分割训练与算法对比也适合作为入门到进阶的实战练习数据。压缩包共包含约2000个文件其中7390张jpg原图与7390张png标注图一一对应3686个xml文件记录边界框位置另有Python脚本负责数据划分、模型训练与结果展示txt清单辅助管理数据集整体压缩后大小799.14MB携带readme说明可快速上手。目前已有3739人学习资源热度和内容完整性得到一定验证适合具备基础卷积神经网络知识、希望动手实践U-Net的读者。包内数据按训练、验证、测试划分明确配合模型定义、数据加载、训练测试等脚本可完整走通图像分割的预处理、建模、评估全流程对想深入理解编码-解码结构或迁移到特定分割任务的研究者也是一份可直接修改的基础工程。1. 拿到 unet图像分割数据集.zip先别急着解压训练用 unet 做图像分割最难的不是网络本身而是手里有没有一份能直接开跑的标注数据。unet图像分割数据集.zip 这类压缩包就是把训练 unet 常用的原图、掩码、划分文件打包在一起省掉你自己标注、配对的流程。但拿到包别急着解压训练先做一轮体检——包完不完整、掩码跟原图对不对得上、类别平不平衡这些决定你是花一个下午调通 unet还是花一周跟数据较劲。这篇笔记按我的习惯从解压核对一路写到训练参数和踩坑记录新手可以照着走熟手重点看第 5 章的坑和第 6 章的数据增强分配。2. 解压体检先搞清楚 zip 里装的是能直接训练的数据还是半成品解压不是双击完事。unet 图像分割数据集这类 zip 质量参差有的包是作者整理好、目录规范、划分文件齐全的成品有的包只是把网上零散图片塞进去掩码命名跟原图对不上缺 val 划分甚至夹杂损坏文件。我拿到手第一件事不是解压是把它当黑匣子先做一轮探测确认里面到底有什么再动手。2.1 先过三关压缩包完整性、伪加密、文件清单核对第一关是完整性。下载过程丢字节、网盘中转损坏都会让解压到一半报 CRC 错误然后你面对一堆残缺文件还不知道缺了哪几张图。校验命令很简单# 完整性校验输出全是 OK 再解压 unzip -t unet图像分割数据集.zip # 通过后解压到显式目录避免污染当前文件夹 unzip -o unet图像分割数据集.zip -d ./unet_dataset-t只测不吐-o覆盖已有文件。如果输出里有bad CRC或central directory字样说明包已经不完整重下比手动修复划算。Windows 上没有自带 unzip可以装 Git Bash或者直接用 Python 的 zipfile 做校验。我后面多数体检逻辑用 Python 写因为要加条件判断Shell 一条条敲太啰嗦。第二关是加密标志。你会遇到一种叫 zip 伪加密 的情况包本身没加密但文件头里把加密标志位置了 1解压软件弹窗要密码。这种包常见于付费分享场景作者用伪加密制造需要密码的假象。检测方式用 Python 看标志位import zipfile zf zipfile.ZipFile(unet图像分割数据集.zip) for info in zf.infolist(): enc (info.flag_bits 0x1) ! 0 comp stored if info.compress_type 0 else deflate print(f{info.filename}\tencrypted{enc}\t{comp}\t{info.file_size} bytes)如果 encryptedTrue 但你从没收到过密码先别急着找 zip 密码移除工具——所谓移除密码本质就是针对伪加密的标志位清零修复对真加密没用也不该碰。真加密包的read()会直接抛 password required 异常这是它和伪加密最干脆的区别。修复伪加密的常见做法是把标志位清零后重新打包Linux 下zip -FF能重建一部分头部损坏或伪加密的压缩包# 伪加密或头部损坏时的修复尝试 zip -FF unet图像分割数据集.zip --out unet_fixed.zip如果zip -FF修完能正常打开说明确实是伪加密修不了又必须用才考虑专门的小工具。我的习惯是校验不过 伪加密两个标签同时出现时这包可信度就低了优先换源。解压时也先别删原始 zip等训练跑通再删留一份后悔药。第三关是清单核对。解压完先列目录结构find ./unet_dataset -maxdepth 2 -type d | sort我要确认三件事有没有 images 和 masks或 labels两个平级目录文件名是否同名成对有没有划分文件train.txt / val.txt。只有图片没有划分文件的包通常要自己按比例切分这个留到 2.3 讲。2.2 数据目录结构train/val/test 与原图-掩码的对齐约定常见的 unet 图像分割数据集 zip 解压出来是这种骨架我按最通用的惯例描述具体包可能有小差异路径内容说明images/原图 JPG/PNG文件名如 000001.jpgmasks/掩码 PNG同名成对如 000001.pngtrain.txt训练清单每行一个文件主名不带扩展名val.txt验证清单同上README.txt类别数、标注规则有则先读没有就默认二分类这里最容易踩坑的对齐约定是主名。有的包 images 下是000001.jpgmasks 下是000001.png靠主名配对有的包掩码文件名带_mask或_label后缀。开训练前必须写一段配对校验把两边主名集合求差集别等 loss 跑飞了才回头查。图像分割算法对配对错误的容忍度很低错位一张图模型就多学一个错误映射。这种原图目录 掩码目录 划分文件的骨架不只在自然图像数据集里常见医学图像分割、燃气管道图像数据集这类专用包也沿用同一套约定你之前处理 semantickitti 数据集时习惯的 3D 点云目录结构跟这里的 2D 对齐逻辑完全不同别拿那套思路硬套。反过来这套目录约定在你后续处理数据集用于 yolov8 训练时也能复用无非是把掩码改成标注框或 polygons 格式。相比 coco2017 数据集那种 json 标注结构zip 包里给好的 PNG 掩码可以跳过分步解析直接进 DataLoader这是它省时间的地方。2.3 样本量与尺寸分布决定后续训练策略的第一张表from PIL import Image from collections import Counter import os img_dir ./unet_dataset/images sizes, n Counter(), 0 for name in sorted(os.listdir(img_dir)): with Image.open(os.path.join(img_dir, name)) as im: sizes[im.size] 1 n 1 print(样本总数:, n) for sz, cnt in sizes.most_common(): print(sz, cnt)先回答三个问题总共多少张尺寸是否统一有没有尺寸异常小或异常大的离群样本。尺寸统一的包可以直接定训练分辨率尺寸混乱的包要么全部 resize 到统一尺寸要么按比例 padding这个决策直接决定后面 DataLoader 怎么写。样本量少于 500 的话第 6 章的离线增强基本是必选项否则 unet 这种参数量不小的网络很容易过拟合到训练集上。3. 从 zip 到 UNet 能吃的输入预处理与 Dataset 代码数据体检完下一步是把文件变成张量。这一步的每个细节都会影响训练结果尤其是掩码的处理很多人在这里翻车把掩码当普通图片做 RGB 三通道 resize结果标签变成三通道loss 怎么算都不对。3.1 resize 与 padding原图和掩码必须用同一套变换常见做法是统一 resize 到 256×256 或 512×512。分辨率越高小目标分割越准但显存开销按平方涨。我的起步值是 256×256先跑通再往上加。resize 时有个关键细节原图用线性插值掩码必须用最近邻插值。掩码是离散标签线性插值会在类别边界引入平滑过渡的假灰度值比如 0 和 255 之间插出 127训练时标签就错乱了。任何图像分割算法进 unet 之前都要检查这一条这不是能靠调参弥补的。如果包内图像长宽不一致又不想拉伸变形就做 padding 到统一尺寸掩码同步 padding。网上很多 unet 代码直接cv2.resize一把梭对小数据集比如医学图像分割包影响不明显但遇到细长目标或贴边目标时拉伸变形会直接压低 IoU。我一般先看 2.3 的尺寸分布如果长宽比都接近resize 就够了如果长宽比从 1:1 到 1:3 都有就走 padding。3.2 掩码的标签编码8-bit 灰度、0/255 与多类别 one-hot数据集 zip 里的掩码常见两种编码二分类掩码是 8-bit 单通道 PNG前景 255、背景 0多类别掩码是调色板 PNGP 模式像素值 0、1、2…… 对应类别 id。读取时统一用灰度模式读进单通道不要用默认的彩色模式import cv2 import numpy as np mask cv2.imread(masks/000001.png, 0) # 0灰度单通道 unique np.unique(mask) print(像素值:, unique) # 二分类0 和 255多类0..N-1如果打印出来是 0 和 255训练时要么除以 255 变成 0/1要么在 Dataset 里把 255 映射成 1。常见做法是在读取时做像素值规约不改磁盘上的原始文件避免污染数据。多类别时unet 输出通道数等于类别数标签要转 one-hot。PyTorch 里可以直接用torch.nn.functional.one_hot但注意它要求标签从 0 开始连续编号如果掩码里有断号比如只有 0、2、5得先重映射否则 one-hot 张量维度会变得巨大索引还错位。这也是为什么 2.3 那一步要打印 unique 值——我在这上面吃过亏掩码里混入一个 255 的遗漏标注值训练时 loss 一路跌不下去查了大半天才发现是标签污染。3.3 一个可以直接跑的 UNetDataset 类import torch from torch.utils.data import Dataset import cv2, os class UNetDataset(Dataset): def __init__(self, root, filelist, size(256, 256)): self.root root self.stems [line.strip() for line in open(filelist)] self.size size def __len__(self): return len(self.stems) def __getitem__(self, idx): stem self.stems[idx] img cv2.imread(os.path.join(self.root, images, stem .jpg)) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) mask cv2.imread(os.path.join(self.root, masks, stem .png), 0) img cv2.resize(img, self.size, interpolationcv2.INTER_LINEAR) mask cv2.resize(mask, self.size, interpolationcv2.INTER_NEAREST) mask (mask 0).astype(int64) # 0/255 - 0/1 img img.astype(float32) / 255.0 img torch.from_numpy(img).permute(2, 0, 1) # HWC - CHW mask torch.from_numpy(mask) return img, mask这个类把三件事包掉了按主名配对读图、统一尺寸、像素规约。参数说明filelist指向 train.txt 或 val.txtsize要和训练脚本里的输入尺寸保持一致mask 0这一步把 255 和任何非零像素都归为前景如果你的数据集里 0 本身就是前景类这里要改成等值判断而不是大于判断。permute(2,0,1)把 H×W×C 变成 C×H×WPyTorch 卷积层只认 CHW。配 DataLoader 时num_workers在 Windows 上要格外小心多进程读取 cv2 有兼容性问题常见做法是先设num_workers0跑通小批量再逐步往上加。pin_memoryTrue对 GPU 训练有明确收益可以默认开。4. 跑通 UNet 的最小训练配置参数、loss 与监控指标unet 网络本身在这类数据集上的训练流程已经非常成熟网上跑一个 unet 网络的提问答案骨架基本一致双卷积 下采样 上采样 跳跃连接。难点不在网络定义在于把输入尺寸、batch size、loss、学习率这四个东西配到一个能正常下降的状态。4.1 UNet 网络怎么搭深度、通道数与输入尺寸的关系标准 unet 是编码器-解码器结构每层两个卷积加 ReLU下采样用 max pool上采样用转置卷积同尺度特征图走 skip connection 拼接。常见实现是 4 次下采样通道数从 64 开始每层翻倍到 512。输入如果是 256×256经过 4 次池化最底层特征图是 16×16再小就要考虑减少深度否则最底层特征图尺寸过小丢信息。out_channels 由任务决定二分类分割输出 1 个通道多类别输出类别数 N。医学图像分割数据集中常见的是 2D 切片分割输入可能是单通道灰度图也可能是三通道注意把网络第一层的in_channels对应改掉。很多看 unet 代码入门的人在这里直接拿默认的 3 通道跑灰度数据结果不报错但训练曲线很奇怪——通道数不匹配时 CV2 会隐式复制单通道为三通道等于白白增加计算量。4.2 loss 选择BCE、Dice 还是两者加权二分类分割最稳妥的起步 loss 是 BCE Dice 加权。纯粹 BCE 在目标占比很小时网络会学到全预测背景的偷懒解loss 看着在降IoU 却几乎为 0Dice 直接优化区域重叠对小目标更敏感但单独用梯度容易抖。两者各取一半是经过大量实践验证的组合import torch import torch.nn.functional as F def dice_loss(pred, target, smooth1.0): pred torch.sigmoid(pred) inter (pred * target).sum(dim(2, 3)) union pred.sum(dim(2, 3)) target.sum(dim(2, 3)) return 1.0 - (2.0 * inter smooth) / (union smooth) def dice_bce_loss(pred, target): bce F.binary_cross_entropy_with_logits(pred, target) dice dice_loss(pred, target) return 0.5 * bce 0.5 * dicebinary_cross_entropy_with_logits内部自带 sigmoid所以网络输出不要额外接 sigmoid否则数值范围出问题梯度也会被压缩得很奇怪。smooth 参数防止除零也稳定梯度曲线。这句话对入门同学是救命信息很多翻车现场就是网络后面加了 sigmoid又在 loss 里传了 sigmoid 后的值两个 sigmoid 叠在一起数值全挤在中间段梯度消失得干干净净。4.3 训练参数起步值与训练过程中的翻车信号参数我一般这么起步跑通后再按显存和收敛情况调参数起步值调整方向输入尺寸256×256显存够就 512batch size8显存溢出时降到 4 或 2学习率1e-4Adam不降就试 1e-3抖就降 5e-5epoch50看 val IoU 是否还有上升趋势num_workers0 → 8Windows 从 0 起步优化器Adam收敛后期可换 SGD 动量训练循环骨架import torch import torch.optim as optim from torch.utils.data import DataLoader model UNet(in_channels3, out_channels1).cuda() opt optim.Adam(model.parameters(), lr1e-4) loader DataLoader(train_ds, batch_size8, shuffleTrue, num_workers0, pin_memoryTrue, drop_lastTrue) for epoch in range(50): model.train() run_loss 0.0 for img, mask in loader: img img.cuda() mask mask.cuda().float().unsqueeze(1) pred model(img) loss dice_bce_loss(pred, mask) opt.zero_grad() loss.backward() opt.step() run_loss loss.item() print(fepoch {epoch} loss {run_loss / len(loader):.4f})mask.unsqueeze(1)把 [B, H, W] 变成 [B, 1, H, W]和网络输出形状对齐。drop_lastTrue防止最后一个 batch 形状异常导致 BN 层报错。训练中盯两类信号loss 完全不降先查数据和 loss 定义loss 下降但验证 IoU 不动多半是过拟合或增强不足。验证 IoU 才是这类分割任务的硬指标loss 只是过程量。验证阶段的 IoU 统计def compute_iou(pred, mask, thr0.5): pb (torch.sigmoid(pred) thr).bool() mb mask.bool() inter (pb mb).sum().float() union (pb | mb).sum().float() return (inter / union.clamp(min1e-6)).item()阈值 0.5 是二分类分割的默认值如果预测概率整体偏低先看验证集上的概率分布再定阈值不要盲改网络结构。unet 训练自己的数据集时最忌讳一上来就换复杂的 loss 或加各种 trick先把这一套最小配置跑通拿到一个正常的下降曲线再谈改进。5. 常见问题与排查从解压到训练路上最常踩的 5 个坑数据包从 zip 变成模型能用的张量这一路上坑密度相当高。我按踩坑频率排了 5 个每个都按现象 → 原因 → 解决讲清楚。5.1 zip 解压一半报错或弹密码CRC 失败与伪加密现象解压到第 N 个文件时报bad CRC-32或者解压软件弹密码框但你根本没有密码。原因CRC 失败多半是下载不完整或网盘中转时文件损坏弹密码是 zip 伪加密文件头加密标志位被置 1 但数据本身没加密。解决前者用unzip -t先检测失败就换源重下别在一个损坏包上浪费时间后者按 2.1 的zip -FF修复或者用能忽略加密标志位的工具重新归档。区分真伪加密最快的方法是尝试zipfile.ZipFile.read()真加密会抛 password required 异常伪加密有时能直接读出字节流。记住一点真加密的包你不该也不需要靠移除密码去破解找作者要密码才是正路。5.2 掩码和原图对不上号文件名排序与配对逻辑现象训练集里 loss 正常下降但 val 的 IoU 极低可视化预测发现模型学的是背景模式目标区域完全错位。原因配对逻辑用了字符串排序sorted()会把2.jpg排在10.jpg前面导致原图和掩码错位。解决一律用 train.txt 里的主名配对而不是遍历目录后按排序 zip 两个列表如果包没有划分文件自己生成清单时用zfill保持位数一致# 生成配对清单并校验主名一致 import os imgs sorted(os.listdir(images), keylambda s: int(s.split(.)[0])) masks sorted(os.listdir(masks), keylambda s: int(s.split(.)[0])) for im, mk in zip(imgs, masks): assert im.split(.)[0] mk.split(.)[0], f配对失败: {im} vs {mk}这段代码把断言写死在生成清单阶段跑一次就再也不会在训练时遇到错位问题。很多包主名长度不一致比如一部分是1.jpg一部分是000001.jpg用int()做排序键就能绕开字符串排序的坑。5.3 CUDA out of memory不是显存不够是 batch 和尺寸没算好现象torch.cuda.OutOfMemoryError在第一个 epoch 中途抛出来。原因256×256×8 的 batch 加上 unet 中间层多尺度特征图8G 显存确实紧张尤其是 PyTorch 默认不主动释放缓存显存碎片会累积。解决先batch_size2跑通再逐步加开torch.cuda.empty_cache()释放碎片如果要保持等效 batch size用梯度累积for i, (img, mask) in enumerate(loader): img img.cuda() pred model(img) loss criterion(pred, mask.cuda().float().unsqueeze(1)) loss.backward() if (i 1) % 4 0: # 每 4 步更新一次等效 batch * 4 opt.step() opt.zero_grad()还要检查是不是num_workers开太多导致每个 worker 各自占一份图片内存Windows 上这是隐性杀手经常被误判成显存不够。掉一半显存但nvidia-smi显示的利用率只有 60%多半就是这个原因。5.4 loss 不降或直接 NaN标签类别不平衡与学习率现象loss 卡在某个值纹丝不动或者训着训着跳成nan。原因目标区域占整图比例极小时BCE 会把网络推向全背景解NaN 则常见于学习率偏高、梯度爆炸或者标签里混入了非 0/1 的奇异像素值。解决换 BCE Dice 组合4.2 的代码把学习率从 1e-4 降到 5e-5 试跑 5 个 epoch同时回看 3.2 的像素值统计确认掩码里没有 255、254 这类标注残留。学习率这玩意儿公认有一半玄学成分但数据清洗不是玄学——我在广告牌图像分割系统这类项目中排查过的 loss 不降案例七成根因在标签不在网络。先洗数据再调参顺序不能反。5.5 中文路径与编码Windows 下解压读文件的血泪经验现象Windows 解压出来的文件在 Linux 服务器上显示乱码训练脚本报FileNotFoundError。原因zip 里的文件名编码是 GBKWindows 默认解压没问题但 Linux 的 unzip 默认按 UTF-8 解文件名就变成乱码脚本按原主名找文件自然找不到。解决Linux 下用unzip -O gbk指定编码解压更省事的做法是把整个数据集放在纯英文路径下数据集文件名也最好是数字主名避免任何编码环节出问题。这两个习惯是被乱码坑过三次之后养成的属于典型的血泪经验。另外在 Windows 上手动把压缩包做成 zip 时也建议用英文命名再打包为后面换机器训练省掉一堆麻烦。6. 把这份数据集的价值榨干增强策略、基线复用与模型改进验证6.1 在线增强与离线增强怎么分配拿到一份解压好的 unet 图像分割数据集尤其是样本量只有几百张的包数据增强不是可选项而是必选项。常见做法是几何增强翻转、旋转、缩放、随机裁剪在线和离线都做离线增强扩出 3~5 倍样本在线增强在 DataLoader 里做随机扰动两者叠加。关键约束是几何类增强必须对原图和掩码做同参数的变换否则掩码位置错位等于在教网络把背景学成前景。# 同步翻转原图和掩码用同一个随机种子 import random, cv2 seed random.randint(0, 2**31 - 1) random.seed(seed) img_flip cv2.flip(img, 1) # 水平翻转 random.seed(seed) mask_flip cv2.flip(mask, 1)注意random.seed要在两次操作之前分别调用顺序不能反。更省心的做法是用 albumentations 这类对 image 和 mask 内置同步的增强库减少自己写同步逻辑的出错面。颜色增强亮度、对比度、饱和度只作用在原图上不碰掩码。6.2 用同一份数据做 UNet 改进的对照实验数据集 zip 最有长期价值的地方是当基线。很多人拿到包跑通 unet 就算完事但做 unet 模型改进时——加注意力门、改跳跃连接融合方式、加深编码器——这份数据就是你最好的对照实验场。做法是固定 train.txt / val.txt 的划分不动、固定输入尺寸和 batch size、固定随机种子只改网络结构然后对比 val IoU。这样出来的每个数字都可复现比我调了一下增强有说服力得多。我现在养成的习惯是任何数据集 zip 解压后先写一个inspect.py把样本数、尺寸分布、像素值、划分文件完整性全部打印出来留档然后才碰训练脚本。这个脚本 10 行就够但它能省掉的排错时间以天计。如果你也是拿 unet 训练自己的数据集建议把这份 zip 当成可重复使用的基线资产而不是一次性的原料。希望帮到你。本文还有配套的精品资源点击获取