目标检测：视觉系统中的CNN-Transformer融合网络

一、背景无人机UAVs在城市自动巡逻中发挥着重要作用但它们在图像识别方面面临挑战尤其是小目标检测和目标遮挡问题。此外无人机的高速飞行要求检测系统具备实时处理能力。为解决这些问题我们提出了一种新的实时目标检测网络RTD-Net它结合了卷积神经网络CNN和Transformer的优势。RTD-Net特别设计了特征融合模块FFM和高效卷积Transformer块ECTB以增强小目标和遮挡目标的检测能力。同时轻量级特征提取模块LEM确保了网络的高效运行满足实时性需求。我们的实验表明RTD-Net在UAV图像数据集上实现了高精度和高速度的检测性能且在嵌入式设备上也表现出良好的实时检测能力为智能城市监控提供了一种有效的技术解决方案。二、相关工作无人机(UAV)在智能监控和城市巡逻中的应用日益增多它们为自动目标检测提供了新的视角。然而UAV图像的目标检测面临几个挑战小目标检测由于UAV飞行高度较高地面目标在图像中呈现较小难以检测。目标遮挡城市环境中的遮挡物如树木和建筑物会阻断目标的视觉连续性影响检测性能。实时性能要求无人机的快速移动要求检测系统具备高速处理能力。为了应对这些挑战研究人员已经探索了多种方法传统方法早期的研究依赖于手工特征提取和机器学习分类器如SIFT和SVM这些方法依赖于专家知识且不够灵活。基于CNN的方法随着深度学习的发展基于CNN的方法已经成为主流。这些方法通过端到端学习提高了检测精度但通常计算量大难以满足实时性要求。基于Transformer的方法最近Transformer因其在处理序列数据中的长距离依赖关系的能力而受到关注。将其应用于图像检测可以增强模型对遮挡目标的识别能力但计算成本较高。本研究提出的RTD-Net通过结合CNN和Transformer的优势旨在实现对UAV图像中小目标和遮挡目标的高效检测。我们通过设计轻量级特征提取模块和高效的Transformer块减少了计算量同时通过特征融合模块提升了小目标的检测性能。三、提出的网络框架为了提高无人机在复杂环境下的目标检测能力我们提出了一个名为RTD-Net的实时目标检测网络其整体结构如图1所示图1RTD-Net体系结构概述这个网络特别设计以应对小目标检测、遮挡目标识别和实时处理的需求。RTD-Net的关键组成部分包括1.RTD-Net概述RTD-Net是一个单阶段检测网络它直接从输入图像预测目标的位置和类别然后通过非最大抑制NMS处理来获取最终检测结果。网络设计考虑了检测精度和速度的平衡特别适用于资源受限的嵌入式设备。2.轻量级特征提取模块LEMLEM是网络的骨干部分它使用同质多分支架构来减少计算量和参数数量。如图2所示通过1x1的卷积核整合通道信息然后通过3x3的卷积核进行特征提取有效降低了模型的复杂性图2LEM3.高效卷积Transformer块ECTB设计了一个基于CNN和变压器的ECTB标准变压器块主要由MHSA层和线性层组成如图3所示图3不同变压器块的结构。(a)标准变压器块。(b)瓶颈变压器(BoT)块。©拟议的ECTB。ECTB是网络的核心创新之一它结合了CNN和Transformer的优势。通过引入卷积多头自注意力CMHSA机制ECTB能够提取图像的全局特征并通过上下文信息改善遮挡目标的识别。4.特征融合模块FFMFFM基于双向特征金字塔网络BiFPN设计用于融合不同层级的特征。通过特征融合FFM增强了模型对小目标的检测能力提高了特征的表达能力。5.注意力预测头APHAPH采用了基于归一化的注意力模块NAM用于提高模型对复杂场景中目标的注意力集中能力。APH通过通道和空间两个独立的维度来推断输入图像的注意力如图4所示并将其应用于输入特征图以提升检测精度。图4(a)通道注意机制。(b)空间注意机制这些组件共同工作使得RTD-Net能够在保持高检测精度的同时满足UAV在资源受限环境中的实时性要求。四、实验为了全面评估RTD-Net的性能我们在多个方面进行了实验包括在自定义的UAV图像数据集和标准的MS COCO2017数据集上的评估以及在嵌入式平台上的实时性能测试。1.数据集准备我们收集并创建了一个包含9630张图像的UAV图像数据集这些图像涵盖了不同的天气条件、光照环境和城市郊区背景。数据集被分为训练集60%、验证集20%和测试集20%包含七种常见的地面目标类别轿车、行人、摩托车、自行车、卡车、公交车和三轮车。图像中的目标根据平均面积比例AAR被分为大、中、小三类以模拟真实世界中UAV检测的挑战。2.在UAV图像数据集上的结果我们使用平均精度mAP作为主要的评估指标以衡量模型在不同类别和不同大小目标上的检测性能。RTD-Net在该数据集上达到了86.4%的mAP超过了其他现有的最先进方法同时在NVIDIA GTX1080Ti上实现了312帧/秒的高检测速度。我们还进行了详尽的对比实验将RTD-Net与多种最新的目标检测模型进行了比较包括Faster R-CNN、SSD、YOLO系列等证明了RTD-Net在检测精度和速度上的优势。3.在MS COCO2017数据集上的结果为了测试RTD-Net的泛化能力我们在标准的MS COCO2017数据集上进行了额外的评估。RTD-Net在COCO2017数据集上的表现与UAV图像数据集上的表现一致显示出良好的泛化能力和在不同场景下的适用性COCO2017中的可视化结果4.嵌入式平台测试我们在NVIDIA Jetson TX2嵌入式平台上测试了RTD-Net的实时性能这是评估其在实际UAV应用中的适用性的关键步骤。在不使用TensorRT优化的情况下RTD-Net在TX2上达到了33.4帧/秒的检测速度满足了实时检测的要求。使用TensorRT优化后检测速度略有下降但模型的检测精度提高了证明了RTD-Net在资源受限设备上的实际应用潜力。通过这些详细的实验我们全面验证了RTD-Net在目标检测任务中的高性能特别是在UAV视觉系统中的实际应用价值。五、结论本研究成功开发了一种名为RTD-Net的实时目标检测网络专为无人机(UAV)视觉系统设计以应对城市自动巡逻中的复杂挑战。通过精心设计的网络结构包括轻量级特征提取模块LEM、高效卷积Transformer块ECTB和特征融合模块FFMRTD-Net在检测精度和速度上均取得了显著的性能。检测精度在UAV图像数据集上RTD-Net实现了86.4%的mAP特别是在小目标和遮挡目标的检测上相比现有技术有显著提升。实时性能在NVIDIA Jetson TX2嵌入式设备上RTD-Net展现了满足实时处理需求的能力检测速度达到33.4帧/秒证明了其在资源受限环境中的实用性。泛化能力在MS COCO2017数据集上的测试进一步证实了RTD-Net良好的泛化能力表明该模型不仅适用于特定的UAV视觉任务也能泛化到其他目标检测场景。总之RTD-Net的有效性在多个层面得到了验证其在智能监控和自动化巡逻等领域具有广泛的应用前景。未来的工作将探索该模型在更多样化的实际场景中的应用并进一步优化其性能。