Jetson Orin Nano边缘AI部署实战：从YOLOv5到TensorRT优化

1. 项目概述：为什么是Jetson Orin Nano？

如果你正在寻找一款能塞进手掌、功耗低到可以靠电池驱动，但又能流畅跑起YOLOv5甚至YOLOv11这类现代视觉模型的边缘计算设备，那么Jetson Orin Nano几乎就是为你量身定做的。它不是那种需要外接巨大散热风扇、功耗动辄几十瓦的“巨无霸”，也不是性能孱弱、只能跑跑简单Demo的“玩具”。Orin Nano的定位非常精准：在紧凑的尺寸和有限的功耗预算内，提供足以应对真实世界AI应用的计算能力。

我拿到这块板子后的第一感觉是，它完美填补了Jetson Nano和更高阶的Orin NX/AGX Orin之间的巨大性能鸿沟。老款的Jetson Nano虽然开创了入门级AI边缘计算的先河，但其ARM Cortex-A57 CPU和128核Maxwell架构GPU在面对如今动辄几十层、参数量庞大的神经网络时，已经有些力不从心，推理帧率往往成为瓶颈。而Orin Nano，凭借其Ampere架构的GPU核心和更现代的CPU集群，直接将AI算力提升了一个数量级，同时保持了Nano系列标志性的小巧身形和亲民功耗。

这块板子最适合谁？首先是嵌入式开发者、机器人爱好者以及教育领域的研究者。你想做一个能实时跟踪识别的自主机器人小车，或者开发一个智能巡检的无人机视觉模块，又或者在大学实验室里搭建一个低成本的多传感器融合平台，Orin Nano都是极佳的选择。它的接口足够丰富（包括CSI摄像头接口、GPIO、USB等），软件生态又背靠NVIDIA JetPack SDK，从系统镜像、驱动到CUDA、TensorRT、DeepStream等开发工具链一应俱全，大大降低了从原型到产品化的门槛。接下来，我们就从开箱到实战，一步步拆解这块“小钢炮”的完整使用指南。

2. 核心硬件解析与开发环境搭建

2.1 开箱与硬件接口速览

打开Jetson Orin Nano的包装，你会发现它延续了Nano系列的经典载板设计，但内在已经焕然一新。板子中央那颗最大的芯片就是核心——Orin Nano SoC。它集成了多种计算单元，其中最值得关注的是其GPU。根据版本不同（4GB或8GB），它配备了512或1024个Ampere架构的CUDA核心，以及16个Tensor Cores。这不仅仅是核心数量的增加，Ampere架构带来的第三代Tensor Core对INT8和FP16精度计算有专门的硬件加速，这对于模型推理的提速是至关重要的。

板载接口方面，你需要重点关注这几个：

• 40-pin GPIO扩展接头：这是与树莓派生态兼容的关键。但这里有一个非常重要的注意事项：Orin Nano的40针引脚排列物理顺序与树莓派相同，但部分引脚的功能定义（特别是UART、I2C的引脚位置）可能与树莓派有差异。在连接传感器或执行器前，务必查阅NVIDIA官方提供的引脚排列图，直接套用树莓派的代码可能会导致通信失败甚至硬件损坏。这不是线序“反了”的问题，而是功能映射不同，需要仔细核对。
• MIPI CSI-2摄像头接口：通常有两个，支持高带宽的图像传感器，是连接IMX219等常见 Raspberry Pi Camera 或其他兼容摄像头的通道。
• USB端口：包括USB 3.2 Gen1 Type-A和Type-C（其中Type-C也用于供电和刷机）。充足的USB 3.0接口对于连接USB摄像头、雷达、IMU等外设非常友好。
• MicroSD卡槽：这是系统的存储核心。Orin Nano没有内置eMMC，所有系统都运行在MicroSD卡上。因此，一张高速、高耐用性的SD卡（建议A2/V30级别及以上）是系统流畅运行的基础。

供电方面，官方推荐使用5V-4A的Type-C电源适配器。我实测中发现，在持续高负载运行AI模型时，供电不足会导致系统不稳定甚至重启，因此一个足功率的电源是必须的。

2.2 系统烧录与初始配置

Orin Nano的入门第一步是给SD卡刷入系统镜像。NVIDIA提供了两种主要方式：使用SD卡镜像直接烧录，或者通过USB Type-C线缆在主机电脑上使用SDK Manager进行刷机。对于新手，我强烈推荐SD卡镜像直接烧录法，更简单直接。

1. 下载镜像：前往NVIDIA开发者网站的Jetson下载中心，找到Jetson Orin Nano对应的最新JetPack SDK版本。JetPack是一个一体化的软件包，包含了Ubuntu操作系统、GPU驱动、CUDA、cuDNN、TensorRT等所有必要组件。下载其“SD Card Image”文件，通常是一个.img格式的压缩包。
2. 烧录镜像：在Windows上可以使用balenaEtcher，在Linux/macOS上可以使用dd命令或Raspberry Pi Imager。将高速MicroSD卡插入读卡器，选择下载好的镜像文件，进行烧录。这个过程大约需要10-20分钟，取决于你的SD卡速度。
3. 首次启动：将烧录好的SD卡插入Orin Nano，连接显示器、键盘鼠标，最后接通电源。系统会首次启动并进行初始化设置，包括创建用户名、密码、选择时区、同意许可协议等。这个过程和安装一台普通的Ubuntu电脑没什么区别。

首次进入桌面后，我建议先做几件事：

• 更新系统：打开终端，运行sudo apt update && sudo apt upgrade，更新软件包列表并升级系统。
• 安装系统监控工具jtop：这是一个神器。运行sudo -H pip install -U jetson-stats来安装。安装后，在终端输入jtop，你就能看到一个实时监控CPU/GPU频率、温度、内存、功耗以及JetPack各组件版本的仪表盘。在后续调试模型、排查性能瓶颈时，它不可或缺。
• 配置交换空间（可选但推荐）：Orin Nano 4GB版本在编译大型项目或运行某些内存消耗大的应用时，可能会遇到内存不足的问题。可以通过增加交换空间（Swap）来缓解。使用sudo fallocate -l 4G /swapfile创建一个4GB的交换文件，然后通过sudo mkswap /swapfile和sudo swapon /swapfile启用它。为了让其开机生效，还需将/swapfile swap swap defaults 0 0添加到/etc/fstab文件末尾。这里提一下，编辑系统文件如/etc/fstab或/etc/sudoers（使用visudo命令时）时，系统默认的编辑器可能是vi。如果你更习惯使用nano编辑器，可以通过设置环境变量export VISUAL=nano; export EDITOR=nano来临时更改，或者在visudo命令中指定编辑器sudo EDITOR=nano visudo。在nano中，编辑完成后按Ctrl+O写入，按Enter确认文件名，再按Ctrl+X退出。

3. 深度学习环境深度配置与优化

3.1 CUDA、cuDNN与TensorRT生态验证

JetPack已经为你预装了匹配版本的CUDA、cuDNN和TensorRT，这是NVIDIA边缘计算平台的最大优势——开箱即用的优化软件栈。但我们仍需验证它们是否正确安装并能协同工作。

打开终端，逐一执行以下命令进行验证：

# 查看CUDA编译器版本 nvcc --version # 查看CUDA运行时版本（通常更重要） cat /usr/local/cuda/version.txt # 查看cuDNN版本 cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2 # 查看TensorRT版本 dpkg -l | grep TensorRT

如果这些命令都能正确输出版本号，说明基础环境是完好的。TensorRT是这里的核心，它是一个高性能的深度学习推理优化器和运行时。它可以将训练好的模型（如PyTorch的.pt或TensorFlow的.pb）进行解析、优化（包括层融合、精度校准、内核自动调优等），并生成一个在特定硬件上高度优化的“引擎”（.engine文件），从而大幅提升推理速度和效率。

3.2 Python虚拟环境与关键库安装

强烈建议使用Python虚拟环境来管理你的项目依赖，避免污染系统级的Python环境。Anaconda在ARM架构上的支持并不完美，这里我推荐使用venv。

# 创建虚拟环境，假设叫‘orin_env’ python3 -m venv orin_env # 激活虚拟环境 source orin_env/bin/activate # 升级pip pip install --upgrade pip

激活虚拟环境后，命令行提示符前会出现(orin_env)字样。接下来安装深度学习框架。由于ARM架构的限制，不能直接使用pip install torch来安装PyTorch。NVIDIA为Jetson平台提供了预编译的PyTorch wheel包。你需要根据你的JetPack版本（如JP5.1.2），去NVIDIA的官方论坛或PyTorch for Jetson页面找到对应的下载链接。安装命令通常形如：

pip install numpy torch-2.1.0a0+41361538f.nv23.06-cp310-cp310-linux_aarch64.whl

接着安装TorchVision，同样需要找到匹配的预编译版本。之后，再安装其他常用库，如OpenCV（JetPack已预装，但可能需要pip install opencv-python来获取Python绑定）、matplotlib、scipy等。

注意：在虚拟环境中，如果你需要调用系统预装的、且与硬件强相关的库（例如通过apt安装的OpenCV，它可能包含了GPU加速的模块），有时会遇到路径问题。一个常见的技巧是，在虚拟环境中使用pip install opencv-python安装一个纯Python版本的同时，确保系统库的路径也被正确引用。更复杂的场景可能需要编译安装。

3.3 模型部署实战：以YOLOv5为例

假设我们要在Orin Nano上部署一个YOLOv5模型做实时目标检测。步骤如下：

1. 克隆YOLOv5仓库并安装依赖：

   git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt

   注意，requirements.txt中的torch和torchvision我们已经用特定版本安装过了，这里可能会冲突。一个稳妥的做法是，在安装requirements前，先注释掉这两行，或者使用pip install -r requirements.txt --ignore-installed来忽略已安装的包。

2. 使用PyTorch进行初始推理测试：

   python detect.py --source 0 # 使用摄像头 # 或 python detect.py --source data/images/bus.jpg --weights yolov5s.pt

   这一步是验证模型和Python环境是否能正常工作。你会看到使用PyTorch（CPU或GPU）的推理速度。此时，GPU可能并未被全力调用。

3. 导出模型为ONNX格式：TensorRT支持通过ONNX作为中间格式导入模型。

   python export.py --weights yolov5s.pt --include onnx

   这会生成一个yolov5s.onnx文件。

4. 使用TensorRT优化并生成引擎：这里有两种主流方式。

   • 使用trtexec工具（推荐给初学者）：这是TensorRT自带的一个命令行工具，非常适合快速测试。

     /usr/src/tensorrt/bin/trtexec --onnx=yolov5s.onnx --saveEngine=yolov5s_fp16.engine --fp16 --workspace=1024

     这个命令将ONNX模型转换为TensorRT引擎，并启用FP16精度以提升速度、降低显存占用。--workspace参数指定了GPU内存中可用于层优化的临时空间大小，如果转换复杂模型时失败，可以尝试增大此值。
   • 使用Python API进行更精细控制：你需要编写一个Python脚本，使用TensorRT的Python API来解析ONNX、构建优化引擎并序列化保存。这种方式可以插入自定义插件、更精确地控制精度和层优化策略。

5. 编写TensorRT推理脚本：你需要编写代码来加载.engine文件，准备输入数据（预处理图像，例如缩放到640x640，归一化，转换为CHW格式等），执行推理，并解析输出结果（YOLO的输出后处理，包括解码边界框、应用非极大值抑制NMS等）。NVIDIA的官方示例和YOLOv5社区通常有现成的TensorRT推理代码可以参考。

6. 性能对比：分别运行PyTorch原始模型推理和TensorRT引擎推理，使用jtop观察GPU利用率和功耗。你会发现，TensorRT引擎的推理速度（FPS）通常有显著的提升，同时GPU利用率更加平稳高效，这就是TensorRT优化（算子融合、内核选择等）带来的好处。

4. 高级主题：性能调优与问题排查

4.1 GPU性能监控与功耗管理

jtop是我们监控系统的眼睛。运行AI模型时，重点关注这几项：

• GPU频率：Orin Nano的GPU频率会根据负载和温度动态调整。持续高负载时，观察它是否能维持在较高频率。
• GPU利用率：理想情况下，推理时GPU利用率应接近100%。如果很低，可能是模型太小、CPU预处理成了瓶颈，或者推理代码没有充分并行化。
• 内存与交换：关注RAM和SWAP的使用情况。如果频繁使用交换空间，会导致性能急剧下降，这时需要考虑优化模型、减少批量大小，或者如前所述增加交换文件大小。
• 温度与功耗：jtop也会显示SoC的温度和实时功耗。在密闭空间或高温环境下，温度可能成为降频的触发点，需要考虑增加散热片或主动风扇。

NVIDIA提供了一个强大的性能调优工具nvpmodel，它可以配置SoC的运行模式，以在性能和功耗之间取得平衡。例如，sudo nvpmodel -m 0是最大性能模式（所有CPU核心和GPU全开），sudo nvpmodel -m 1可能是低功耗模式。你可以使用sudo nvpmodel -q查询当前模式。在电池供电的场景下，合理使用nvpmodel和jetson_clocks（锁定最高频率）工具至关重要。

4.2 容器化部署：Docker实战

在生产环境中，使用Docker可以保证环境的一致性，简化部署。Jetson平台支持ARM64架构的Docker容器。

1. 安装Docker：JetPack通常已预装Docker，如果没有，可通过sudo apt install docker.io安装。
2. 获取基础镜像：NVIDIA提供了官方的L4T（Linux for Tegra）基础镜像，其中包含了与宿主机JetPack版本匹配的CUDA等库。

   sudo docker pull nvcr.io/nvidia/l4t-base:r35.4.1

   注意标签r35.4.1需要对应你的JetPack版本。
3. 构建自定义镜像：编写Dockerfile，从基础镜像开始，安装你项目所需的Python环境、依赖库和应用程序代码。

   FROM nvcr.io/nvidia/l4t-base:r35.4.1 RUN apt-get update && apt-get install -y python3-pip COPY requirements.txt . RUN pip3 install --no-cache-dir -r requirements.txt COPY app /app WORKDIR /app CMD ["python3", "inference_server.py"]

4. 运行容器：构建镜像并运行。关键是要将GPU设备挂载到容器内，并赋予相应的能力。

   sudo docker build -t my-orin-app . sudo docker run --runtime nvidia --rm -it --network host my-orin-app

   参数--runtime nvidia是必须的，它使得容器内可以访问宿主机的GPU驱动。

实操心得：在Docker容器内调试时，你可能会发现无法直接使用jtop。此时，可以通过tegrastats这个底层工具来监控。在容器内运行tegrastats，它会输出包括CPU/GPU负载、内存、温度等信息的一行文本，虽然不如jtop直观，但信息量足够。

4.3 常见问题排查实录

在实际使用中，你肯定会遇到各种问题。这里记录几个我踩过的坑和解决方案：

• 问题一：运行模型时GPU利用率极低，FPS上不去。

  • 排查：首先用jtop确认GPU是否被识别和驱动正常。然后检查推理代码：输入数据是否在GPU上？推理过程是否在torch.no_grad()上下文管理器中？预处理（如图像缩放、归一化）是否在CPU上进行且成为瓶颈？对于TensorRT，检查引擎是否成功构建为FP16或INT8精度。
  • 解决：确保数据通过.cuda()或.to(device)移到GPU；使用torch.no_grad()禁用梯度计算；尝试将图像预处理也移至GPU（如果支持）；对于TensorRT，尝试使用trtexec的--fp16或--int8标志重新生成引擎，并确保校准集正确。

• 问题二：编译OpenCV或其他库时内存不足（OOM Killer被触发）。

  • 排查：在编译大型项目，特别是OpenCV with CUDA支持时，并行编译任务（make -j4）会消耗大量内存。Orin Nano 4GB版本很容易被挤爆。
  • 解决：减少并行编译任务数，例如使用make -j2。更根本的方法是增加交换空间，如前文所述。也可以尝试在编译前关闭不必要的图形界面，释放更多内存。

• 问题三：CSI摄像头无法识别或图像异常。

  • 排查：首先用ls /dev/video*检查设备节点是否存在。使用sudo apt install v4l-utils后，用v4l2-ctl --list-devices查看详细摄像头信息。
  • 解决：确保摄像头排线插紧。检查摄像头型号是否兼容。尝试使用nvgstcapture-1.0这个GStreamer测试工具来预览摄像头画面，这比用OpenCV的cv2.VideoCapture更能排除底层驱动问题。如果nvgstcapture-1.0可以，但OpenCV不行，可能是OpenCV编译时缺少GStreamer支持。

• 问题四：使用pip安装某些包时编译失败。

  • 排查：很多Python包的pip安装会尝试从源码编译，这需要对应架构（aarch64）的编译工具链和开发库。
  • 解决：先尝试安装系统对应的开发包，例如sudo apt install python3-dev libopenblas-dev。对于特别棘手的包，可以搜索是否有预编译的ARM64 wheel包，或者考虑使用conda（如果可用），或者从源码编译时指定更保守的优化参数。

我个人最大的体会是，玩转Jetson Orin Nano的关键在于“理解层次”。从底层的硬件接口、电源管理，到系统层的JetPack软件栈、Docker容器，再到应用层的模型优化与部署，每一层都有需要注意的细节。它不像在x86服务器上那样可以“随意”安装软件，在ARM边缘设备上，更多的需要寻找兼容的版本、预编译的包，或者做好亲自编译的准备。但一旦跨过这些初始的配置门槛，你会发现手中这块小小的板子所能爆发出的AI计算能力，足以支撑起许多令人兴奋的创新应用。最后一个小技巧：建立一个属于自己的“知识库”，记录下每次成功安装的库版本号、编译参数和有效的解决方案，这会在你未来切换项目或重置系统时，节省大量的时间。