NVIDIA Jetson (JetPack 6) 配置 PyTorch GPU 环境指南

本文基于 Jetson Orin 系列开发板JetPack 6.0 DP / 正式版梳理搭建 PyTorch GPU 环境大量踩坑根源 JetPack 6 升级 L4T 5.15、Ubuntu22.04、CUDA12.2、cuDNN8.9.x但 PyTorch 官方暂无适配 Jetson ARM 平台的预编译 wheel。 直接 pip 安装会出现 cuda 不可用、缺少内核镜像等各类报错本质是硬件、固件、驱动、CUDA 运行时、深度学习框架五层依赖匹配断裂。常规 x86 一键安装方式完全失效不能直接套用官方 PyTorch 安装脚本。作者实测对比 NGC 容器、源码编译、第三方包等 5 种方案最终找到一条无需源码编译、不改动系统、不降级驱动仅几条命令就能完成的极简部署方案。 适用于 Orin Nano、Orin NX、AGX Orin面向 YOLO、点云检测、语音识别等需要 CUDA 加速的 AI 模型部署帮开发者规避大量反复刷机、调试的无效耗时。一、环境说明硬件NVIDIA Jetson AGX Orin 32GB架构aarch64系统Ubuntu 22.04JetPackR36.5CUDA12.6二、安装MiniforgeJetson使用ARM64架构需要安装Miniforge3-Linux-aarch64。安装后source ~/.bashrcconda --version三、创建环境conda create -n ler python3.10 -yconda activate ler四、安装Jetson专用PyTorch不要直接pip install torch否则可能安装CPU版本。安装NVIDIA Jetson wheeltorch-2.5.0a0872d972e41.nv24.08.17622132-cp310-cp310-linux_aarch64.whl命令pip install ./torch-2.5.0a0872d972e41.nv24.08.17622132-cp310-cp310-linux_aarch64.whl五、解决cuDNN缺失错误ImportError: libcudnn.so.9安装sudo apt install libcudnn9-cuda-12 libcudnn9-dev-cuda-12 -ysudo ldconfig六、解决cuSPARSELt缺失错误ImportError: libcusparseLt.so.0安装pip install nvidia-cusparselt-cu12配置export LD_LIBRARY_PATH$HOME/miniforge3/envs/lerobot/lib/python3.10/site-packages/nvidia/cusparselt/lib:$LD_LIBRARY_PATH七、NumPy兼容执行pip install numpy1.26.4八、验证PyTorch CUDAPython:import torchprint(torch.__version__)print(torch.version.cuda)print(torch.cuda.is_available())成功torch2.5.0a0872d972e41.nv24.08CUDA12.6GPUTrue九、安装torchvisionPyTorch 2.5对应torchvision 0.20.0。安装依赖sudo apt install libjpeg-dev zlib1g-dev libpython3-dev libopenblas-dev libavcodec-dev libavformat-dev libswscale-dev -y下载git clone --branch v0.20.0 https://github.com/pytorch/vision torchvision编译cd torchvisionexport BUILD_VERSION0.20.0python setup.py install坑一装完发现是CPU版本is_available()为False现象执行 torch.cuda.is_available() 返回 False或者 torch.version.cuda 为 None。原因Jetson Orin采用ARM64(aarch64)架构与普通PC的x86_64环境不同。直接执行 pip install torch 时PyPI默认不会提供针对Jetson L4T环境优化的CUDA版本容易安装CPU版本或者CUDA版本不匹配的版本。解决卸载错误版本pip uninstall torch torchvision torchaudio -y不要使用普通PyPI安装需要安装NVIDIA针对Jetson编译的PyTorch wheel。示例pip install ./torch-2.5.0a0872d972e41.nv24.08.17622132-cp310-cp310-linux_aarch64.whl验证import torchprint(torch.__version__)print(torch.version.cuda)print(torch.cuda.is_available())坑二PyTorch导入失败缺少libcudnn.so.9现象import torch时报错ImportError: libcudnn.so.9: cannot open shared object file原因Jetson版本PyTorch依赖系统CUDA组件。NVIDIA提供的wheel不会自动包含所有底层CUDA动态库需要系统安装cuDNN。解决安装cuDNNsudo apt install libcudnn9-cuda-12 libcudnn9-dev-cuda-12 -y刷新动态链接sudo ldconfig检查find / -name libcudnn.so* 2/dev/null坑三缺少libcusparseLt.so.0现象安装cuDNN后仍然无法import torchImportError:libcusparseLt.so.0: cannot open shared object file原因新版NVIDIA PyTorch依赖cuSPARSELt库。JetPack默认环境可能没有该动态库。解决安装pip install nvidia-cusparselt-cu12查找find ~/miniforge3/envs/lerobot -name libcusparseLt.so*配置动态库export LD_LIBRARY_PATH$HOME/miniforge3/envs/lerobot/lib/python3.10/site-packages/nvidia/cusparselt/lib:$LD_LIBRARY_PATH建议写入 ~/.bashrc 永久保存。坑四NumPy版本兼容问题现象import torch时出现A module that was compiled using NumPy 1.x cannot be run in NumPy 2.x原因NVIDIA Jetson PyTorch wheel基于NumPy 1.x编译而环境默认安装NumPy 2.x。解决pip install numpy1.26.4坑五Torchvision无法直接安装GPU版本现象pip install torchvision失败或者版本不匹配。原因Jetson ARM生态相比PC x86不完善torchvision需要严格匹配PyTorch版本。PyTorch 2.5对应torchvision 0.20.0解决安装依赖sudo apt install libjpeg-dev zlib1g-dev libpython3-dev libopenblas-dev libavcodec-dev libavformat-dev libswscale-dev -y下载git clone --branch v0.20.0 https://github.com/pytorch/vision torchvision编译cd torchvisionexport BUILD_VERSION0.20.0python setup.py install坑六下载大文件SSL中断现象SSL: UNEXPECTED_EOF_WHILE_READING原因PyTorch wheel和CUDA相关包体积较大网络波动容易导致pip下载失败。解决使用wget断点续传wget -c 文件地址下载完成后pip install 文件.whl比pip在线安装更加稳定。总结与收获1. ARM边缘设备与PC环境完全不同。PC:x86_64 CUDA Driver pip install torchJetson:ARM64 JetPack L4T CUDA cuDNN NVIDIA专用PyTorch2. 深度学习环境不仅是Python包问题Python↓PyTorch↓CUDA↓cuDNN↓GPU Driver↓硬件任何一层缺失都会导致GPU不可用。3. Jetson环境推荐wget断点下载 wheel本地安装 源码编译。最终环境Jetson AGX Orin↓JetPack R36.5↓CUDA 12.6↓cuDNN 9.3↓cuSPARSELt↓PyTorch 2.5.0a0nv24.08↓Torchvision 0.20.0↓LeRobot 0.4.4