FFmpeg GPU编解码实战：从命令行到C++ API的完整指南

1. 项目概述：为什么要在FFmpeg中引入GPU编解码？

如果你处理过视频转码、直播推流或者视频分析，大概率对CPU占用率飙升到100%的“风扇狂响”场景记忆犹新。传统的FFmpeg编解码完全依赖CPU的算力，处理高分辨率、高帧率的视频时，效率瓶颈非常明显。我最初接触GPU加速也是被一个4K H.265视频的实时转码需求逼的，CPU软编码一帧就要上百毫秒，根本谈不上“实时”。

GPU编解码的核心价值，就是将视频压缩（编码）和解压缩（解码）这种高度并行化的计算任务，从通用计算的CPU卸载到专为并行计算设计的GPU上。这不仅仅是“快”的问题，更是资源的最优分配：CPU得以解放出来处理更复杂的业务逻辑（如流控、协议封装、滤镜链），而GPU则发挥其大规模并行计算的优势，专攻像素块的变换、运动估计和熵编码。从搜索结果看，ffmpeg gpu、gpu服务器等词热度很高，说明在AI推理、云转码、实时通信等领域，这已是硬性需求。

简单来说，这个项目就是打通FFmpeg与GPU硬件加速之间的桥梁。它包含两个层面：一是在命令行中调用FFmpeg时，如何指定并使用GPU加速编解码器；二是在我们自己的C++程序中，如何通过FFmpeg的API（主要是libavcodec）来编程实现同样的功能。后者能让我们将GPU加速无缝集成到自定义的媒体处理流水线中，实现更灵活、高效的应用。

2. 核心思路与方案选型：CUDA、NVENC、QSV与VAAPI

决定使用GPU加速后，第一个问题就是：用谁的GPU，以及用什么接口？这直接决定了后续的开发路径和依赖环境。

2.1 主流GPU加速方案横向对比

目前主流的方案围绕三大厂商展开：NVIDIA、Intel和AMD。每种方案背后都是一套特定的硬件和软件接口。

2.2 如何选择你的方案？

选择不是拍脑袋，得看你的“家底”和目标：

1. 硬件环境：服务器或主力机用什么显卡？如果是NVIDIA Tesla T4或V100，NVENC是不二之选。如果是Intel Xeon E系列服务器（无独显），那QSV就是宝藏。个人开发，看看你的设备管理器。
2. 操作系统：Windows/Linux双雄并立。NVENC两者都支持良好；QSV在Windows下通过D3D11/D3D9，在Linux下通过VAAPI或QSV；VAAPI则是Linux的“土著”。
3. 功能需求：仅仅是编解码，还是需要在解码后对帧进行AI分析（如YOLO目标检测）？如果需要与AI框架（如PyTorch、TensorRT）交互，CUDA方案能让你在GPU内存中直接传递数据，避免在CPU和GPU之间来回拷贝数据（这是巨大的性能开销）。从热词gpu微调大模型、智算平台可以看出，端到端的GPU流水线是趋势。
4. 编码质量与速度权衡：NVENC和QSV在默认设置下，为了速度会牺牲一些压缩率。如果对码率控制有极致要求（如超低码率下的清晰度），可能需要调整大量参数，甚至在某些场景下，x264（CPU）的最高质量预设仍不可替代，但耗时是数量级的增长。

我的经验之谈：对于绝大多数应用级转码和实时处理（如直播、视频会议备份），NVENC和QSV的“质量-速度”平衡已经足够好。不要过早优化，先用默认参数跑通流程，再针对瓶颈参数（如-qp、-preset）进行微调。

基于以上，本项目的讲解将以NVIDIA NVENC/NVDEC和Intel QSV这两个最普及的方案作为主线，因为它们的代表性强，遇到的问题也最具普遍性。VAAPI和CUDA方案会在关键点上进行对比说明。

3. 环境准备：驱动、FFmpeg与开发环境

巧妇难为无米之炊。GPU加速不是FFmpeg内置的魔法，它需要底层硬件的驱动和FFmpeg的对应编译支持。

3.1 硬件与驱动准备

• 对于NVIDIA用户：

  1. 安装最新的Game Ready或Studio驱动。对于数据中心显卡，安装对应的数据中心驱动。
  2. 安装CUDA Toolkit。NVENC/NVDEC虽然是独立单元，但FFmpeg的CUDA滤镜和硬件上下文创建通常依赖CUDA环境。从 NVIDIA官网 下载并安装。
  3. 验证：在命令行输入nvidia-smi，能看到显卡信息和驱动版本即表示驱动OK。检查CUDA：nvcc --version。

• 对于Intel用户（QSV）：

  1. Windows：确保安装最新的 Intel GPU驱动程序 。FFmpeg会通过DXVA2或D3D11接口访问核显。
  2. Linux：安装intel-media-va-driver（非自由版）或libva-intel-driver（自由版，可能功能旧）。同时需要libva和libva-utils。安装后运行vainfo命令，如果能看到H264、HEVC的编码解码条目，并且没有报错，说明VAAPI驱动配置成功。QSV在Linux下通常通过libmfx（Intel Media SDK）或VAAPI接口实现。

3.2 编译支持GPU的FFmpeg

系统自带的或通过包管理器安装的FFmpeg，很可能没有启用GPU加速。我们必须自己编译。

• 编译FFmpeg（以Linux下NVENC为例）：

  # 1. 安装依赖 (以Ubuntu为例) sudo apt update sudo apt install build-essential yasm cmake libtool libc6 libc6-dev unzip wget libnuma1 libnuma-dev # 2. 安装NVIDIA编解码器SDK（头文件，非必须但推荐） # 从NVIDIA开发者网站下载 Video Codec SDK，解压后将其中的 `include` 目录路径记下。 # 3. 编译FFmpeg git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg cd ffmpeg ./configure \ --prefix=/usr/local/ffmpeg \ --enable-nonfree \ --enable-cuda-nvcc \ --enable-libnpp \ --extra-cflags=-I/usr/local/cuda/include \ --extra-ldflags=-L/usr/local/cuda/lib64 \ --enable-gpl \ --enable-libx264 \ --enable-libx265 \ --enable-shared make -j$(nproc) sudo make install

  关键参数解释：

  • --enable-cuda-nvcc：启用CUDA支持和hwupload_cuda等滤镜。
  • --enable-nonfree和--enable-cuda-nvcc：通常需要同时开启以支持NVENC。
  • --extra-cflags/--extra-ldflags：指向你的CUDA安装路径。

• 编译FFmpeg（以Linux下QSV via VAAPI为例）：

  ./configure \ --prefix=/usr/local/ffmpeg \ --enable-vaapi \ --enable-libmfx \ --enable-gpl \ --enable-libx264 \ --enable-shared # ... 其余步骤同上

• Windows用户怎么办？手动编译FFmpeg在Windows上比较繁琐。推荐使用官方提供的已编译版本（如gyan.dev的构建），但需仔细阅读其构建说明，确认是否包含了--enable-nvenc、--enable-cuda或--enable-d3d11va等选项。更稳妥的方式是使用MSYS2或WSL2环境进行编译，热词中wsl2 intel gpu也反映了在WSL2中使用Intel GPU的需求，这需要Windows 11和WSL2的特定支持。

3.3 验证FFmpeg GPU编解码器编译安装后，运行以下命令验证：

/usr/local/ffmpeg/bin/ffmpeg -encoders | grep nvenc /usr/local/ffmpeg/bin/ffmpeg -decoders | grep cuvid /usr/local/ffmpeg/bin/ffmpeg -encoders | grep qsv /usr/local/ffmpeg/bin/ffmpeg -encoders | grep vaapi

如果能看到h264_nvenc、hevc_nvenc、h264_qsv、hevc_vaapi等编码器，以及h264_cuvid、hevc_cuvid等解码器，恭喜你，环境准备就绪。

4. 命令行实战：FFmpeg GPU编解码参数详解

环境好了，我们先在命令行里感受一下GPU的威力。这是最直接、最快速的验证和初步使用方式。

4.1 GPU硬件解码

解码，就是把视频流（如H.264）解压成一张张原始的图像（YUV或RGB）。GPU解码能极大降低CPU负载。

• 使用NVIDIA NVDEC (cuvid) 解码：

  ffmpeg -hwaccel cuda -hwaccel_output_format cuda -i input.mp4 -c:v h264_nvenc -b:v 5M output_gpu.mp4

  • -hwaccel cuda：指定使用CUDA进行硬件加速解码。
  • -hwaccel_output_format cuda：关键！这指定了解码后的帧直接存放在GPU显存中，格式为CUDA设备帧。如果不指定，解码后的帧会被拷贝回CPU内存，后续的GPU编码又需要拷回去，产生额外开销。
  • -c:v h264_nvenc：指定使用NVIDIA的H.264硬件编码器。

• 使用Intel QSV/VAAPI 解码：

  # Linux VAAPI 解码 ffmpeg -hwaccel vaapi -hwaccel_output_format vaapi -vaapi_device /dev/dri/renderD128 -i input.mp4 -c:v h264_vaapi -b:v 5M output.mp4 # Windows QSV 解码 (通过D3D11) ffmpeg -hwaccel d3d11va -i input.mp4 -c:v h264_qsv -b:v 5M output.mp4

  • -vaapi_device：指定VAAPI使用的DRM渲染设备节点。
  • -hwaccel d3d11va：在Windows上使用Direct3D 11进行硬件加速解码。

4.2 GPU硬件编码

编码，就是把原始图像压缩成视频流。这是计算密集型任务，GPU加速效果最显著。

• NVIDIA NVENC 编码参数精讲：

  ffmpeg -i input.yuv -s 1920x1080 -pix_fmt yuv420p -c:v h264_nvenc \ -preset p4 \ -tune hq \ -profile high \ -level 4.2 \ -rc vbr \ -b:v 4000k -maxrate 6000k -bufsize 8000k \ -g 250 \ -bf 2 \ output.mp4

  • -preset：编码速度与质量的权衡。从p1（最快，质量最低）到p7（最慢，质量最高）。直播常用p1/p2，点播存储常用p4/p5。实测p4是很好的平衡点。
  • -tune：针对特定内容优化。hq（高质量）、ll（低延迟）、ull（超低延迟，用于游戏直播）。
  • -profile和-level：指定编码规格，影响设备兼容性。highprofile和4.2level能兼容绝大多数现代设备。
  • -rc：码率控制模式。cbr（恒定码率，网络流常用）、vbr（可变码率，质量更稳定，存储常用）、cqp（恒定量化参数，直接控制质量，-qp参数）。
  • -b:v、-maxrate、-bufsize：VBR模式下的目标平均码率、最大码率和码率缓冲区大小。bufsize建议是maxrate的1-2倍。
  • -g：关键帧（GOP）间隔。250意味着每250帧一个关键帧（在25fps下就是10秒）。影响 seeking 和容错。
  • -bf：B帧数量。增加B帧能提升压缩率，但会增加解码延迟。实时通信通常设为0。

• Intel QSV 编码示例：

  ffmpeg -i input.mp4 -c:v h264_qsv -b:v 5M -preset veryfast -look_ahead 1 output.mp4

  • -preset：QSV也有速度预设，如veryfast,faster,fast,medium,slow等。
  • -look_ahead：开启前瞻性码率控制，能提升质量，但增加延迟和CPU占用。

4.3 完整的GPU转码流水线

一个高效的转码命令应该让数据流尽可能待在GPU上，这就是“零拷贝”或“最小拷贝”思想。

# NVIDIA 完整流水线示例：解码->缩放->编码全在GPU ffmpeg -hwaccel cuda -hwaccel_output_format cuda -i input.mp4 \ -vf "hwupload_cuda,scale_cuda=1280:720,hwdownload,format=nv12" \ -c:v h264_nvenc -preset p4 -b:v 2500k \ output_720p.mp4

• -vf：滤镜链。
  • hwupload_cuda：将CPU内存中的帧上传到CUDA显存（如果输入不是CUDA帧）。
  • scale_cuda：在GPU上执行缩放操作，性能远超CPU的scale滤镜。
  • hwdownload：将处理后的CUDA帧下载回CPU内存。
  • format=nv12：指定输出到CPU内存的像素格式。
• 这个流程中，解码后的数据在显存中，缩放也在显存中，只有最终编码输出前（如果需要）或最终保存时才可能下载到CPU。如果编码器也支持CUDA帧输入（如NVENC），甚至可以省略hwdownload，实现真正的零拷贝。

踩坑记录：hwaccel_output_format和滤镜链的配合是关键。如果你指定了cuda格式，但后续滤镜不支持CUDA帧，FFmpeg会报错。需要仔细阅读FFmpeg文档，了解每个滤镜的硬件帧支持情况。一个常见的错误是，用了GPU解码，但没指定输出格式，导致后续滤镜无法在GPU上工作。

5. C++代码集成：libavcodec API编程指南

命令行工具强大，但要将GPU加速能力嵌入到自己的应用（比如一款自研的视频剪辑软件、直播服务器或AI分析平台），就必须使用FFmpeg的库进行编程。核心是libavcodec。

5.1 项目配置与头文件

首先，确保你的C++项目能正确链接FFmpeg库。以CMake为例：

cmake_minimum_required(VERSION 3.10) project(FFmpegGPUExample) set(CMAKE_CXX_STANDARD 11) # 假设FFmpeg安装在 /usr/local/ffmpeg set(FFMPEG_DIR /usr/local/ffmpeg) find_path(AVCODEC_INCLUDE_DIR libavcodec/avcodec.h PATHS ${FFMPEG_DIR}/include) find_library(AVCODEC_LIBRARY avcodec PATHS ${FFMPEG_DIR}/lib) # 同样需要 avformat, avutil, swscale, swresample 等库 include_directories(${AVCODEC_INCLUDE_DIR}) add_executable(ffmpeg_gpu_demo main.cpp) target_link_libraries(ffmpeg_gpu_demo ${AVCODEC_LIBRARY} ...)

关键头文件：

extern "C" { #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> #include <libavutil/avutil.h> #include <libavutil/hwcontext.h> // 硬件上下文相关 #include <libavutil/pixdesc.h> }

5.2 核心数据结构与流程

GPU编解码编程的流程与软编解码类似，但多了硬件设备、硬件帧上下文和帧格式转换的步骤。

1. 打开硬件设备：创建并初始化一个硬件设备上下文（AVHWDeviceContext）。
2. 查找并打开编解码器：查找支持硬件的编解码器（如h264_nvenc）。
3. 创建硬件帧上下文：配置编解码器上下文（AVCodecContext）使用特定的硬件像素格式和硬件设备。
4. 帧的分配与传递：分配AVFrame时，需要将其设置为硬件帧格式，并从硬件设备上下文中获取帧缓冲区。
5. 编解码循环：送入原始帧（编码）或压缩包（解码），从硬件上下文中获取处理后的数据。
6. 格式转换（如需要）：如果后续处理需要CPU内存中的数据，需要使用libavutil的转换函数将硬件帧“映射”或“下载”到系统内存帧。

5.3 代码实现：GPU硬件解码示例

以下是使用CUDA进行硬件解码的核心代码片段：

// 1. 注册所有硬件设备类型 av_hwdevice_register_all(); // 2. 指定硬件设备类型 enum AVHWDeviceType type = av_hwdevice_find_type_by_name("cuda"); if (type == AV_HWDEVICE_TYPE_NONE) { fprintf(stderr, "No CUDA device found.\n"); return -1; } // 3. 打开输入文件，查找视频流（略，同软解码） AVFormatContext* fmt_ctx = nullptr; avformat_open_input(&fmt_ctx, input_filename, nullptr, nullptr); avformat_find_stream_info(fmt_ctx, nullptr); int video_stream_index = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0); // 4. 查找硬件解码器 AVCodec* decoder = nullptr; for (int i = 0; ; i++) { const AVCodecHWConfig* config = avcodec_get_hw_config(codec, i); // codec是软解码器，如avcodec_find_decoder_by_name("h264") if (!config) break; if (config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX && config->device_type == type) { // 找到了支持该硬件设备的配置 decoder = avcodec_find_decoder_by_name("h264_cuvid"); // 直接找硬件解码器 break; } } if (!decoder) { fprintf(stderr, "No hardware decoder found for CUDA.\n"); return -1; } // 5. 分配解码器上下文并配置硬件 AVCodecContext* dec_ctx = avcodec_alloc_context3(decoder); avcodec_parameters_to_context(dec_ctx, fmt_ctx->streams[video_stream_index]->codecpar); // 创建硬件设备上下文 AVBufferRef* hw_device_ctx = nullptr; int ret = av_hwdevice_ctx_create(&hw_device_ctx, type, nullptr, nullptr, 0); if (ret < 0) { fprintf(stderr, "Failed to create CUDA device context.\n"); return -1; } dec_ctx->hw_device_ctx = av_buffer_ref(hw_device_ctx); // 将设备上下文关联到解码器 // 6. 打开解码器 ret = avcodec_open2(dec_ctx, decoder, nullptr); // 7. 分配帧（硬件帧） AVFrame* frame = av_frame_alloc(); AVFrame* sw_frame = av_frame_alloc(); // 用于接收转换后的软件帧 // 8. 解码循环 AVPacket pkt; av_init_packet(&pkt); while (av_read_frame(fmt_ctx, &pkt) >= 0) { if (pkt.stream_index == video_stream_index) { ret = avcodec_send_packet(dec_ctx, &pkt); while (ret >= 0) { ret = avcodec_receive_frame(dec_ctx, frame); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) break; else if (ret < 0) { /* handle error */ } // 此时frame是硬件帧（可能是AV_PIX_FMT_CUDA） if (frame->format == hw_pix_fmt) { // hw_pix_fmt 需从config中获取 // 将硬件帧下载到系统内存 ret = av_hwframe_transfer_data(sw_frame, frame, 0); if (ret < 0) { fprintf(stderr, "Error transferring data to system memory.\n"); break; } // 现在可以使用sw_frame->data中的数据了（例如，保存为图片或给AI模型） // process_frame(sw_frame); } av_frame_unref(frame); av_frame_unref(sw_frame); } } av_packet_unref(&pkt); }

关键点解析：

• av_hwdevice_ctx_create：这是创建硬件设备上下文的核心函数。对于CUDA，它会初始化与GPU的交互。
• dec_ctx->hw_device_ctx：将设备上下文绑定到解码器上下文，告诉解码器使用哪个GPU。
• avcodec_get_hw_config：这是一个重要的枚举函数，用于查询编解码器支持的硬件配置。你需要遍历它来找到匹配你硬件设备类型（如AV_HWDEVICE_TYPE_CUDA）的配置。
• av_hwframe_transfer_data：性能关键点。它将数据在GPU显存和CPU内存之间传输。如果后续处理（如显示、保存）不需要CPU数据，或者后续步骤（如GPU编码、CUDA处理）可以直接使用硬件帧，就应该避免这次传输，以节省时间和带宽。

5.4 代码实现：GPU硬件编码示例

编码流程与解码对称，但方向相反。

// 1. 查找硬件编码器（如 h264_nvenc） AVCodec* encoder = avcodec_find_encoder_by_name("h264_nvenc"); if (!encoder) { fprintf(stderr, "NVENC encoder not found.\n"); return -1; } // 2. 分配编码器上下文并配置参数 AVCodecContext* enc_ctx = avcodec_alloc_context3(encoder); enc_ctx->width = 1920; enc_ctx->height = 1080; enc_ctx->time_base = (AVRational){1, 25}; enc_ctx->framerate = (AVRational){25, 1}; enc_ctx->pix_fmt = AV_PIX_FMT_CUDA; // 指定输入为CUDA帧格式 enc_ctx->profile = FF_PROFILE_H264_HIGH; enc_ctx->bit_rate = 4000000; // 4 Mbps enc_ctx->gop_size = 250; // 3. 创建硬件设备上下文（同解码） AVBufferRef* hw_device_ctx = nullptr; ret = av_hwdevice_ctx_create(&hw_device_ctx, AV_HWDEVICE_TYPE_CUDA, nullptr, nullptr, 0); enc_ctx->hw_device_ctx = av_buffer_ref(hw_device_ctx); // 4. 打开编码器 ret = avcodec_open2(enc_ctx, encoder, nullptr); // 5. 分配硬件帧作为输入 AVFrame* frame = av_frame_alloc(); frame->format = enc_ctx->pix_fmt; // AV_PIX_FMT_CUDA frame->width = enc_ctx->width; frame->height = enc_ctx->height; // 为硬件帧分配缓冲区。注意：不能直接用av_frame_get_buffer，需要从硬件设备上下文获取。 ret = av_hwframe_get_buffer(enc_ctx->hw_frames_ctx, frame, 0); // 6. 编码循环 // 假设你有一个函数 fill_frame_with_cuda_data(frame) 来填充CUDA帧数据 // 这可能涉及CUDA内存拷贝 (cudaMemcpy) 或直接由上游CUDA处理流程产生。 while (has_more_frames) { fill_frame_with_cuda_data(frame); frame->pts = frame_index++; ret = avcodec_send_frame(enc_ctx, frame); while (ret >= 0) { ret = avcodec_receive_packet(enc_ctx, &pkt); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) break; // 处理编码后的数据包 pkt (写入文件或发送) write_packet_to_output(pkt); av_packet_unref(&pkt); } }

关键点解析：

• enc_ctx->pix_fmt = AV_PIX_FMT_CUDA：这是告诉编码器，我给你的帧是已经在GPU显存里的。
• av_hwframe_get_buffer：这是为硬件帧分配显存缓冲区的正确方式。它通过hw_frames_ctx（需要从hw_device_ctx创建）来分配与GPU设备兼容的内存。
• fill_frame_with_cuda_data：这是你需要实现的部分。数据来源可能是：
  1. 从CPU内存上传（使用av_hwframe_transfer_data，方向相反）。
  2. 来自另一个GPU处理流程（如CUDA内核处理后的输出）。这是最高效的方式，实现了GPU内的零拷贝流水线。

6. 性能调优与深度避坑指南

理论跑通只是第一步，真正投入生产环境，你会遇到各种性能问题和“坑”。

6.1 性能瓶颈分析与监控

• GPU利用率：使用nvidia-smi -l 1（NVIDIA）或intel_gpu_top（Intel Linux）监控GPU的编解码器单元（Enc/Dec）利用率。如果利用率低，可能是CPU喂数据太慢（IO或解封装瓶颈），或者命令参数设置不当（如-preset太快导致GPU“吃不饱”）。
• CPU利用率：理想情况下，开启GPU加速后，CPU占用应从接近100%大幅下降。如果CPU占用依然很高，检查：
  • 是否真的使用了硬件解码/编码（检查FFmpeg输出日志的开头几行）。
  • 是否在滤镜链中混用了大量CPU滤镜（如scale而不是scale_cuda）。
  • 解封装（demux）和封装（mux）过程依然是CPU工作，对于超高码率流，这可能成为瓶颈。
• 内存与显存：监控显存使用。一个1080p的YUV帧大约占6MB，同时处理多路视频或长GOP缓存时会占用大量显存。使用-extra_hw_frames参数可以调整编解码器内部缓存的帧数。

6.2 常见问题与解决方案速查表

6.3 高级技巧：构建真正的零拷贝流水线

对于视频分析（AI推理）场景，终极目标是：GPU解码 -> GPU内存中预处理 -> GPU模型推理 -> GPU编码/渲染，数据永不离开显存。

1. CUDA帧直接交互：AV_PIX_FMT_CUDA格式的AVFrame，其data[0]实际上是一个CUDA设备指针（uint8_t*，但指向显存）。你可以通过frame->data[0]获取这个指针，并将其直接传递给CUDA内核或CUDA版本的图像处理库（如OpenCV CUDA模块、NPP）进行处理。
2. 与PyTorch/TensorRT交互：你可以将CUDA设备指针转换为torch::Tensor（使用from_blob）或分配一个CUDA张量并直接拷贝内存。这避免了通过主机内存的中转，极大提升了AI推理管道的效率。这也是热词gpu微调大模型、训推平台所追求的端到端GPU流水线。
3. 使用硬件滤镜：尽可能使用scale_cuda、yadif_cuda等GPU滤镜，避免数据回传。

// 伪代码：将AVFrame (CUDA) 转换为 PyTorch Tensor #include <torch/torch.h> #include <c10/cuda/CUDAStream.h> AVFrame* cuda_frame = ...; // 来自硬件解码 uint8_t* cuda_data = cuda_frame->data[0]; int width = cuda_frame->width; int height = cuda_frame->height; // 假设是NV12格式，Y和UV平面分别在data[0]和data[1] // 创建一个Tensor，并直接包装CUDA内存（注意内存生命周期管理！） torch::Tensor y_plane_tensor = torch::from_blob(cuda_data, {height, width}, torch::kUInt8).cuda(); // ... 处理Tensor // 处理完后，数据仍在原CUDA内存中，可直接用于后续GPU编码

6.4 内存管理要点

硬件编程中，内存管理是重中之重，极易导致内存泄漏或访问冲突。

• 引用计数：AVBufferRef、AVFrame、AVPacket都使用引用计数。使用av_frame_ref增加引用，使用av_frame_unref减少引用并可能释放内存。对于硬件帧，在unref前，确保没有CUDA内核还在使用其数据。
• 显存释放：硬件设备上下文（hw_device_ctx）和硬件帧上下文（hw_frames_ctx）需要用av_buffer_unref正确释放。通常，释放编解码器上下文和格式上下文会连带释放它们，但最好在程序退出前显式检查。
• 异步操作：GPU编解码本质是异步的。avcodec_send_packet和avcodec_receive_frame看起来是同步API，但底层驱动可能是异步的。这意味着在调用receive_frame之前，不能重用或释放发送的AVPacket。同样，在编码时，发送AVFrame后，必须等到receive_packet返回EAGAIN或成功后才能重用该AVFrame。