1. 项目概述：从“看全图”到“盯重点”的思维转变

在计算机视觉的日常项目里，目标检测是个高频需求。我们常常用YOLOv5这样的模型，丢给它一张图，它就能把图中所有的猫猫狗狗、车辆行人给框出来，这属于全局检测。但实际工作中，更常见的是另一种场景：我只关心画面里某个特定区域的东西。比如，监控摄像头画面很大，但我只想知道十字路口那个红绿灯区域里有没有行人闯红灯；又或者，在工业质检中，传送带图像背景复杂，我只检测产品固定摆放区域内的瑕疵。这种“划定区域，只检区内”的需求，就是区域目标检测，也叫感兴趣区域（ROI）检测。

很多朋友在初次接触这个需求时，会走弯路：有人试图重新标注ROI内的数据去训练一个“专用”模型，费时费力；有人想在模型推理后，用框的坐标去和ROI多边形做复杂的几何运算，逻辑繁琐且效率不高。其实，YOLOv5本身提供了非常优雅且高效的解决方案，核心思路就一句话：在数据预处理阶段，将ROI区域“裁剪”或“掩码”出来，只把这块区域送给模型去检测。这样做，模型本身无需任何改动，我们只是在喂给它数据之前，动了一点“手脚”。

这篇文章，我就以最常见的矩形ROI和多边形ROI为例，手把手带你走通整个流程。你会看到，从ROI坐标定义，到推理代码改造，再到后处理优化，每一步都有需要注意的细节和能提升效率的技巧。无论你是用YOLOv5做安防、交通、还是工业视觉项目，这个技能都能让你事半功倍。

2. 核心思路拆解：为什么是“预处理”而非“后处理”？

在深入代码之前，我们必须先统一思想：为什么区域检测的最佳实践是在预处理阶段做文章，而不是在模型输出之后再做筛选？

2.1 预处理方案的优势

设想一下，一张1920x1080的高清图，你只关心右下角一个400x300的小区域。如果让YOLOv5去检测整张图，它需要处理超过200万个像素点，计算量大，而且背景中的无关物体会产生大量无效计算甚至误检。然后你再从成百上千个检测框里，用几何方法筛选出落在400x300区域内的那几个，整个过程冗余且低效。

预处理方案则截然不同。它的流程是：

1. 定义ROI：在图像上标定出你关心的区域（一个矩形或多边形）。
2. 提取ROI：在推理前，从原图中精确地“抠出”这个ROI区域的图像。
3. 坐标转换：因为“抠图”会导致图像坐标系原点变化，所以需要记录这个转换关系。
4. 模型推理：只把这块小图（400x300）送入YOLOv5进行检测。
5. 坐标还原：将模型在小图上预测出的边界框坐标，根据步骤3记录的转换关系，映射回原始大图的坐标系。

这样做的好处显而易见：

• 计算量锐减：模型只处理ROI区域，速度大幅提升，尤其对高分辨率视频流实时处理意义重大。
• 精度提升：模型不再受ROI外复杂背景的干扰，专注于目标区域，通常能减少误检（False Positives）。
• 逻辑清晰：整个流程模块化，ROI定义、图像裁剪、坐标映射各司其职，代码易于维护和调试。

2.2 关键挑战与应对思路

当然，这个方案也有两个技术点需要妥善处理：

1. ROI内目标被切割的问题：如果一个目标刚好一部分在ROI内，一部分在ROI外，直接裁剪会导致一个完整目标被切成两半，模型可能无法正确识别。对于严格的应用（如计数），我们通常定义ROI时就要尽量避免切割关键目标，或者在后处理时根据需求特别处理这类“跨界”目标。
2. 坐标映射的精度：从ROI子图坐标还原回原图坐标，必须是可逆的、无损的。这里涉及到简单的仿射变换，核心是记住ROI在原图中的起始点（对于矩形是左上角坐标(x_roi, y_roi)）。

理解了“为什么这么做”，接下来我们就进入实战环节。我会分别用矩形和多边形ROI来演示，这是两种最主流的形状。

3. 实战准备：环境与基础代码

在开始改造之前，确保你有一个能正常运行的YOLOv5环境。这里假设你使用的是PyTorch版本的YOLOv5。

# 克隆YOLOv5官方仓库（如果你还没有） git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt # 安装依赖

我们以YOLOv5自带的detect.py推理脚本为基础进行修改。为了清晰，我建议你创建一个新的文件，比如detect_roi.py，将detect.py的内容复制过来，然后在此基础上修改。

核心思路：我们的主要修改将集中在数据加载和预处理部分，以及结果后处理部分。模型加载、推理引擎部分完全不需要动。

4. 方案一：矩形ROI检测实现

矩形ROI是最简单的情况，用左上角(x1, y1)和右下角(x2, y2)两个点就能定义。很多监控场景的检测区域（如一条车道、一个窗口）都可以近似为矩形。

4.1 ROI定义与图像裁剪

首先，我们需要定义ROI。你可以写死在代码里，也可以通过配置文件读取，更灵活的方式是画一个GUI工具来标定（比如用OpenCV）。这里为了演示，我们直接硬编码。

假设我们的原图是img.jpg，我们只关心其中(200, 150)到(600, 450)这个矩形区域。

import cv2 import torch import numpy as np # 1. 加载原始图像 orig_img = cv2.imread('img.jpg') if orig_img is None: raise FileNotFoundError("图像文件未找到") orig_height, orig_width = orig_img.shape[:2] # 2. 定义矩形ROI [x1, y1, x2, y2] roi_rect = [200, 150, 600, 450] # 请根据你的图像实际大小调整 x1, y1, x2, y2 = roi_rect # 3. 确保ROI在图像范围内 x1, y1 = max(0, x1), max(0, y1) x2, y2 = min(orig_width, x2), min(orig_height, y2) # 4. 裁剪ROI区域 roi_img = orig_img[y1:y2, x1:x2] roi_height, roi_width = roi_img.shape[:2] print(f"原图尺寸：{orig_width}x{orig_height}") print(f"ROI区域：{roi_width}x{roi_height}， 左上角原点在原图坐标：({x1}, {y1})")

注意：OpenCV的图像坐标是(y, x)，即行在前，列在后。所以裁剪时是img[y1:y2, x1:x2]。这一点务必牢记，否则会裁错区域或导致数组维度错误。

4.2 适配YOLOv5推理流程

YOLOv5的detect.py脚本使用了一个LoadImages或LoadStreams类来加载和预处理图像。我们需要把上面裁剪得到的roi_img，按照YOLOv5要求的方式进行处理。

关键点在于，YOLOv5的预处理管道（包括缩放、填充、归一化等）期望输入是原始图像。现在我们的“原始图像”变成了roi_img。所以，我们需要模拟一个从roi_img开始的流程。

一个比较直接的方法是修改数据加载器，但为了最小化改动，我们可以在主循环中，对每一帧都执行上述裁剪操作，然后将roi_img送入YOLOv5的预处理函数。YOLOv5的预处理通常由letterbox函数完成。

# 假设我们位于修改后的 detect_roi.py 的主推理循环中 from utils.augmentations import letterbox # ... 模型加载等初始化代码 ... # 对于每一帧图像 ‘orig_img‘ # 进行上述ROI裁剪，得到 roi_img, x1, y1, roi_width, roi_height # YOLOv5风格的预处理：缩放并填充到模型输入尺寸（如640x640） img = letterbox(roi_img, 640, stride=32, auto=True)[0] # 返回处理后的图像 # 后续的转换：BGR->RGB, HWC->CHW, 归一化等... img = img.transpose((2, 0, 1))[::-1] # HWC to CHW, BGR to RGB img = np.ascontiguousarray(img) img = torch.from_numpy(img).to(device) img = img.half() if half else img.float() # 半精度或全精度 img /= 255.0 # 归一化 0 - 255 to 0.0 - 1.0 if img.ndimension() == 3: img = img.unsqueeze(0) # 现在 ‘img‘ 就是可以直接送入模型 ‘model(img)‘ 的张量了

4.3 检测框坐标还原

模型在roi_img上做出了预测，得到的边界框坐标(x_min, y_min, x_max, y_max)是基于roi_img这个子图的坐标系，其原点(0,0)对应原图的(x1, y1)。

因此，还原公式非常简单：

原图_x_min = roi_img_x_min + x1 原图_y_min = roi_img_y_min + y1 原图_x_max = roi_img_x_max + x1 原图_y_max = roi_img_y_max + y1

在YOLOv5中，推理结果通常通过non_max_suppression函数处理后得到，是一个列表，列表中的每个元素是对一张图片的检测结果，是一个形状为[n, 6]的张量，其中n是目标数，6列分别是[x1, y1, x2, y2, confidence, class]。

我们需要在画框或输出结果前，对这个张量里的坐标进行转换：

# 假设 ‘pred‘ 是模型对单张ROI图片的预测结果，形状为 [n, 6] # x1, y1 是ROI在原图中的左上角坐标 if len(pred) > 0: # 还原坐标 pred[:, [0, 2]] += x1 # x_min 和 x_max 加上 x1 pred[:, [1, 3]] += y1 # y_min 和 y_max 加上 y1 # 确保坐标不超过原图边界（防止裁剪时ROI定义不精确导致的越界） pred[:, [0, 2]] = pred[:, [0, 2]].clamp(min=0, max=orig_width) pred[:, [1, 3]] = pred[:, [1, 3]].clamp(min=0, max=orig_height)

现在，pred中的坐标就是基于原始大图的了，你可以直接用YOLOv5原有的绘图函数（如Annotator类）在原图orig_img上绘制检测框。

4.4 矩形ROI方案小结与心得

实操心得：

1. ROI定义要留余量：如果你检测的目标在边界处，定义ROI时稍微往外扩几个像素，避免目标紧贴边缘导致特征不完整，影响模型置信度。
2. 性能考量：对于视频流，矩形ROI的裁剪（数组切片）是非常快的操作，几乎不增加额外开销。主要的性能提升来自于模型推理计算量的减少。
3. 可视化调试：在开发阶段，务必先将ROI矩形框在原图上画出来，确认区域是否正确。可以用cv2.rectangle(orig_img, (x1, y1), (x2, y2), (0, 255, 0), 2)来绘制。

矩形ROI简单高效，但对于不规则区域（如一个L形的路口、一个圆形的仪表盘）就力不从心了。这时就需要多边形ROI。

5. 方案二：多边形ROI检测实现

多边形ROI更灵活，可以精确勾勒出任意形状的区域。实现思路和矩形类似，但“裁剪”这一步变成了“掩码（Mask）”。

5.1 多边形ROI与掩码生成

我们使用一个由多个点构成的多边形来定义ROI。同样，这些点坐标是相对于原图的。

# 定义多边形ROI顶点，格式为 [[x1, y1], [x2, y2], ..., [xn, yn]] # 这是一个梯形的例子，模拟一个路口区域 polygon_pts = np.array([[50, 400], [300, 200], [500, 200], [750, 400]], np.int32) # 注意：点需要按顺序连接，通常为顺时针或逆时针。 # 创建一个和原图同样大小的全黑掩码 mask = np.zeros((orig_height, orig_width), dtype=np.uint8) # 在多边形区域内填充白色（255） cv2.fillPoly(mask, [polygon_pts], color=255) # 应用掩码：将原图与掩码进行按位与操作，ROI外区域变为黑色 masked_img = cv2.bitwise_and(orig_img, orig_img, mask=mask) # 此时 masked_img 中，只有多边形内部区域保留原像素，外部全是0（黑）。

现在，masked_img看起来像是原图上被一个黑色不规则形状遮罩盖住，只留出了ROI区域。但直接把它送入YOLOv5会有问题：黑色背景区域仍然占用了大量像素，计算量没减少，而且黑色背景可能被模型误认为是某种物体特征。

5.2 获取多边形外接矩形与精确裁剪

我们的目标仍然是只把ROI区域送给模型。所以需要：

1. 找到多边形的最小外接矩形（Bounding Box）。
2. 用这个外接矩形去裁剪masked_img（以及对应的掩码mask）。
3. 但裁剪后，ROI区域可能并不紧贴外接矩形的左上角，我们需要知道这个偏移量。

# 计算多边形的最小外接矩形 x, y, w, h = cv2.boundingRect(polygon_pts) # (x,y)是外接矩形左上角，w,h是宽高 roi_x, roi_y, roi_w, roi_h = x, y, w, h # 裁剪出外接矩形区域 roi_masked_img = masked_img[roi_y:roi_y+roi_h, roi_x:roi_x+roi_w] roi_mask = mask[roi_y:roi_y+roi_h, roi_x:roi_x+roi_w] # 关键步骤：创建一个纯黑的背景图，大小就是外接矩形，然后把ROI区域贴上去 # 这样能确保ROI区域外的像素是统一的黑色，且ROI区域位于这张新图的正确位置。 roi_img_for_inference = np.zeros((roi_h, roi_w, 3), dtype=np.uint8) roi_img_for_inference[roi_mask == 255] = roi_masked_img[roi_mask == 255]

现在，roi_img_for_inference就是一张roi_w x roi_h大小的图，多边形ROI区域内的像素是原图内容，区域外是纯黑。这个“纯黑背景”比之前masked_img中杂乱的原图背景要干净得多。

5.3 推理与坐标还原（多边形版）

将roi_img_for_inference送入YOLOv5进行预处理和推理，流程和矩形ROI完全一样。

坐标还原的公式也和矩形ROI一致，因为外接矩形的左上角(roi_x, roi_y)就相当于之前矩形的(x1, y1)。

# 模型在 roi_img_for_inference 上预测得到 pred_roi if len(pred_roi) > 0: pred_roi[:, [0, 2]] += roi_x pred_roi[:, [1, 3]] += roi_y # 同样进行边界clamp

但是，这里有一个至关重要的后续步骤：我们只应该保留那些中心点落在原始多边形ROI内的检测框。因为外接矩形是包含多边形区域的，在外接矩形内但多边形外的角落，模型可能会对黑色背景产生一些无意义的低置信度检测（尽管概率小，但需排除）。

from shapely.geometry import Point, Polygon # 创建多边形对象 roi_polygon = Polygon(polygon_pts) # 遍历还原坐标后的预测框 pred valid_detections = [] for det in pred: x1, y1, x2, y2, conf, cls = det # 计算检测框的中心点 center_x = (x1 + x2) / 2.0 center_y = (y1 + y2) / 2.0 center_point = Point(center_x, center_y) # 判断中心点是否在多边形内 if roi_polygon.contains(center_point): valid_detections.append(det) # ‘valid_detections‘ 才是最终在多边形ROI内的检测结果

注意：这里使用了shapely库进行几何运算，非常方便。你需要先安装它：pip install shapely。如果不想引入新依赖，也可以使用OpenCV的pointPolygonTest函数，但shapely的API更简洁。

5.4 多边形ROI方案小结与心得

实操心得：

1. 掩码处理是关键：cv2.bitwise_and和后续创建纯黑背景图这两步，确保了送入模型的是“干净”的ROI图像，最大程度减少了背景干扰。
2. 外接矩形是桥梁：通过外接矩形，我们将不规则ROI的检测问题，转化为了一个我们已经解决的矩形ROI检测问题，复用性高。
3. 中心点过滤不可省：这是多边形ROI检测准确性的保证。只靠外接矩形还原坐标，会引入多边形外区域的误检。
4. 性能权衡：多边形ROI比矩形ROI多了掩码计算、外接矩形提取和中心点判断等步骤，计算开销稍大。但对于复杂形状的精确检测，这点开销是值得的。

6. 集成到YOLOv5 Detect脚本的完整示例

为了让思路更连贯，我提供一个将矩形ROI集成到修改版detect.py中的核心代码片段。假设我们处理的是单张图片。

import cv2 import torch import numpy as np from pathlib import Path from models.common import DetectMultiBackend from utils.general import non_max_suppression, scale_boxes from utils.augmentations import letterbox # --- 配置参数 --- weights = 'yolov5s.pt' # 模型权重 source = 'test.jpg' # 输入图片 roi_rect = [200, 150, 600, 450] # [x1, y1, x2, y2] conf_thres = 0.25 iou_thres = 0.45 # --- 1. 加载模型 --- device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = DetectMultiBackend(weights, device=device, dnn=False, data=None, fp16=False) model.eval() # --- 2. 加载并处理原始图像 --- orig_img = cv2.imread(source) if orig_img is None: raise FileNotFoundError(f"图像 {source} 未找到") orig_height, orig_width = orig_img.shape[:2] # --- 3. 矩形ROI裁剪 --- x1, y1, x2, y2 = roi_rect x1, y1 = max(0, x1), max(0, y1) x2, y2 = min(orig_width, x2), min(orig_height, y2) roi_img = orig_img[y1:y2, x1:x2] # --- 4. YOLOv5预处理 (对ROI图像) --- img = letterbox(roi_img, 640, stride=32, auto=True)[0] img = img.transpose((2, 0, 1))[::-1] # HWC to CHW, BGR to RGB img = np.ascontiguousarray(img) img = torch.from_numpy(img).to(device) img = img.half() if model.fp16 else img.float() img /= 255.0 if img.ndimension() == 3: img = img.unsqueeze(0) # --- 5. 模型推理 --- pred = model(img, augment=False, visualize=False) pred = non_max_suppression(pred, conf_thres, iou_thres, classes=None, agnostic=False, max_det=1000) # --- 6. 坐标还原与结果处理 --- detections = [] for i, det in enumerate(pred): # 每张图片的检测结果 if len(det): # 将框的坐标从ROI图像尺度还原到原始图像尺度 # 注意：letterbox可能对ROI图像进行了填充和缩放，需要先还原到ROI图像原始尺寸 det[:, :4] = scale_boxes(img.shape[2:], det[:, :4], roi_img.shape).round() # 再将坐标平移到原图坐标系 det[:, [0, 2]] += x1 det[:, [1, 3]] += y1 # 边界保护 det[:, [0, 2]] = det[:, [0, 2]].clamp(min=0, max=orig_width) det[:, [1, 3]] = det[:, [1, 3]].clamp(min=0, max=orig_height) detections.append(det) # --- 7. 可视化 --- if detections: for det in detections[0]: # 这里只处理第一张图的结果 x1, y1, x2, y2, conf, cls = det label = f'{model.names[int(cls)]} {conf:.2f}' # 在原图上画检测框 cv2.rectangle(orig_img, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2) cv2.putText(orig_img, label, (int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2) # 画出ROI区域边界（绿色矩形） cv2.rectangle(orig_img, (x1, y1), (x2, y2), (0, 0, 255), 2) cv2.imwrite('result.jpg', orig_img) print("检测完成，结果已保存至 result.jpg")

这段代码展示了核心流程。对于多边形ROI，你需要将第3步和第6步的坐标还原部分，替换成前面章节介绍的多边形掩码和外接矩形方法，并在第6步后加入中心点过滤。

7. 常见问题与排查技巧实录

在实际部署区域检测时，你肯定会遇到一些坑。这里我记录了几个最常见的问题和解决方法。

7.1 问题一：检测框在还原后位置偏移或错乱

现象：在ROI子图上检测正确的框，还原到原图后，要么没对齐，要么大小不对。

排查步骤：

1. 检查坐标系统一性：确保你记录的原图ROI原点(x1, y1)是整数，并且与裁剪时使用的切片坐标完全一致。OpenCV的切片是[y:y+h, x:x+w]，原点(x,y)对应列和行。
2. 验证letterbox缩放：YOLOv5的letterbox函数会在保持长宽比的情况下将图像缩放到模型输入尺寸（如640），并在上下或左右填充灰边。scale_boxes函数就是用来将模型输出的、基于填充后图像的坐标，反算回原始输入图像（这里是roi_img）的坐标。务必在第一次坐标变换（从模型输出到ROI子图）时使用scale_boxes，然后再做第二次平移（加x1, y1）。我上面提供的示例代码就遵循了这个顺序。
3. 打印中间变量：在关键步骤后，打印出ROI子图的尺寸、模型输入张量的尺寸、预测框的原始坐标、经过scale_boxes后的坐标、以及最终还原后的坐标。通过对比这些数据，很容易定位是哪个转换环节出了问题。

7.2 问题二：ROI区域边缘的目标检测不到或置信度低

现象：目标明明有一部分在ROI内，但模型要么检不出，要么给的置信度很低。

原因与解决：

• 原因：目标被ROI边界切割，特征不完整。YOLOv5等检测器对完整目标的特征更敏感。
• 解决：
  • 扩大ROI：在定义ROI时，根据目标平均尺寸，适当向外扩展一定的像素（如10-20像素），给模型一个缓冲区域。
  • 调整NMS参数：如果切割不严重，模型可能仍会输出一个置信度较低的框。可以适当降低conf_thres（置信度阈值），并在后处理中，对于中心点在ROI内但框体部分超出ROI的目标予以保留。
  • 业务逻辑处理：对于计数等严格应用，可以定义规则，如“框体与ROI的交并比（IoU）大于某个阈值（如0.5）才计数”。

7.3 问题三：处理视频流时性能提升不显著

现象：对视频做ROI检测，帧率（FPS）没有预期中提升那么多。

排查与优化：

1. 性能瓶颈分析：使用Python的cProfile或简单的time.time()测量每一帧各个步骤的耗时：图像解码/读取、ROI裁剪、预处理、模型推理、后处理。你会发现，对于高分辨率视频，图像解码可能才是最大的开销，尤其是用cv2.VideoCapture读取摄像头或视频文件时。
2. 优化建议：
   • 硬件解码：如果可能，利用GPU或专用硬件进行视频解码。
   • 降低读取分辨率：如果ROI只占画面一小部分，可以考虑先用较低分辨率读取整帧，定位ROI区域后再切换到高分辨率区域进行裁剪检测？这需要相机支持或复杂的流程，通常不如直接全分辨率裁剪简单。
   • 裁剪前置：如果是从摄像头获取数据，看看驱动或SDK是否支持直接输出某个区域的子图（即ROI），这能在数据源头就减少数据量，是最有效的优化。
   • 推理引擎优化：确保使用了TensorRT、OpenVINO等推理加速，并且半精度（FP16）或整型（INT8）量化是开启的。ROI减少了输入尺寸，量化收益会更明显。

7.4 问题四：多边形ROI中心点过滤计算慢

现象：使用shapely的contains方法逐框判断中心点，当检测框数量很多时（n > 100），循环判断可能成为瓶颈。

优化方案：

• 向量化计算：shapely库本身对单个对象的操作很快，但循环调用contains是瓶颈。可以将所有检测框的中心点打包成一个numpy数组，然后利用shapely.vectorized.contains（如果版本支持）或matplotlib.path.Path的contains_points方法进行批量判断，速度能提升一个数量级。

# 使用 matplotlib.path.Path 进行批量点判断 (备选方案) from matplotlib.path import Path # 创建Path对象 roi_path = Path(polygon_pts) # 准备所有中心点 center_points = np.column_stack((pred[:, 0:2] + pred[:, 2:4]) / 2) # shape: (n, 2) # 批量判断 inside_flags = roi_path.contains_points(center_points) valid_detections = pred[inside_flags]

区域目标检测是YOLOv5工程化应用中一个非常实用的技巧。它背后的思想——将计算资源聚焦在关键区域——在资源受限的边缘设备和需要高并发的服务器端都极具价值。掌握矩形和多边形这两种ROI的处理方法，你就能应对绝大多数定制化检测场景。记住核心流程：定义ROI、提取区域、推理、坐标还原。多动手调试，关注坐标转换的细节，你就能轻松实现从“看全图”到“盯重点”的升级。