提到深度伪造Deepfake很多人的第一反应还停留在“AI 换脸”这个标签上。但在近一两年的技术演进中生成目标已经从简单的“换脸”扩展到了“完整人体合成”模型不再只是替换面部而是从姿态、动作、服饰、光照到镜头运动整体生成一段连续可信的人体视频。论文标题里的 “full-body” 指的就是这一层含义而 “perpetual” 则进一步强调“持续、长时间、可连续生成”的能力。围绕“全身深度伪造的持续生成”这个方向我梳理了一套相对完整的技术脉络基础模型怎么选、人体怎么表示、时序一致性怎么做、数据怎么处理、质量怎么评估、工程上容易踩哪些坑以及最重要的合规边界。无论你是做视觉研究的学生、短视频内容工具的开发还是安全风控方向的技术人员这篇文章都可以帮你建立一张比较清晰的技术地图。下面我们从概念开始逐步展开。1. 背景与核心概念从换脸到全身合成1.1 从换脸到完整人体生成传统 Deepfake 的核心任务是 Face Swap也就是把一个人的脸“贴”到另一个人的身体上。这个任务的技术链路已经相对成熟检测人脸、提取面部关键点、生成fake face、再融合回原视频。由于人脸区域在画面中占比小且面部结构相对规则早期基于自编码器或 GAN 的方案就能取得不错的效果。但完整人体生成完全是另一回事。全身画面包含的信息量远大于人脸头部、躯干、四肢、手部、衣物纹理、姿态变化、遮挡关系、景深和光影都要保持一致。模型不仅要“画得像”还要“动得对”。这要求生成模型对人体的三维结构、运动规律和外观变化同时建模而不是简单地在二维图像上做区域替换。在目前的论文和工程实践中“全身深度伪造”常见的实现路径有两种基于姿态迁移利用姿态关键点或骨骼信息驱动源人物让同一个人在目标动作序列中运动。基于隐式驱动直接学习视频到视频的映射通过控制信号动作、语言、情绪生成新视频。1.2 “持续生成”到底难在哪里“Perpetual” 是这类任务里最容易被忽视、却最难解决的问题。单张图片生成得好不等于一段 10 秒的视频能被接受一段 10 秒的视频稳定也不等于 1 分钟连续输出不出问题。持续生成的核心难点有三层误差累积视频是按帧逐帧生成的自回归结构会让每一帧的微小误差不断叠加时间越长画面越容易漂移、模糊甚至崩坏。身份保持随着动作变化人脸和身体的细节会不断改变模型容易“忘记”主角长什么样导致身份特征漂移。运动连贯性动作应该符合人体物理规律手部、脚部与地面接触关系、布料摆动等细节稍有偏差就会产生明显的“抖动”或“鬼影”。因此“perpetual full-body deepfake generation” 的研究重点并不是把单帧画质做到极致而是想办法让生成过程在时间维度上保持稳定、可控、可延续。1.3 典型应用场景技术本身是中性的它的价值取决于使用方式。在合理、合规的前提下这类技术有明确的应用价值虚拟数字人与虚拟主播需要长时间连续输出动作和口型。影视后期与虚拟替身演员不便出镜时用合成方式完成高风险动作。游戏与动画生产用动作序列驱动游戏角色降低动捕成本。在线教育与人机交互通过人体生成实现更自然的远程互动。但与此同时恶意换脸、虚假视频、身份冒用、非自愿内容合成等风险也真实存在。这也是为什么在讨论技术实现时必须同时讨论检测方法与合规边界。2. 技术基础生成模型、人体表示与时间控制2.1 生成模型从 GAN 到扩散模型全身人体生成的底层依赖是生成模型。不同时期主流方案差异很大GAN生成对抗网络一直是早期 Deepfake 的主力尤其是 StyleGAN 系列在人脸生成上效果惊艳。GAN 的优势是生成速度快、图像细节锐利缺点是训练不稳定且难以覆盖复杂多变的全局动作。扩散模型以 Stable Diffusion 为代表的扩散模型在单帧图像生成上表现出了极强的语义理解能力配合 ControlNet 这类条件控制方法可以通过姿态图、深度图、边缘图约束人体结构是当前全身生成的主流基础。自回归与视频扩散模型把视频看成一组连续帧用 Transformer 或 3D U-Net 直接生成多帧可以更好地建模时间关系但训练成本和推理成本都显著上升。实际项目中很多方案是混合的用扩散模型生成高质量关键帧再用 GAN 或光流方法做帧间插值与修复平衡质量与速度。2.2 人体表示从骨骼点到三维网格要让模型“知道”一个人的动作必须先定义一套人体表示。不同表示方式决定了控制信号的精度二维关键点比如 OpenPose、MediaPipe 提取的 17 个或 33 个人体关键点直观、轻量适合做粗粒度姿态控制。三维关键点与 SMPL 系列SMPL、SMPL-X 是参数化人体模型通过姿态参数和形状参数描述人体能表达更精确的三维旋转和体型适合生成需要多视角一致性的视频。DensePose 与隐式表示DensePose 把每个像素映射到人体 UV 坐标适合做细节控制NeRF、3DGS 则用于渲染新视角适合做三维一致性要求较高的场景。如果只是做“动作迁移”二维关键点往往足够但如果要生成视角变化大、身体遮挡多的视频必须引入三维表示让模型理解人体在空间中的朝向和自遮挡关系。2.3 时序一致性与身份保持持续生成最核心的技术模块是“时间维度控制”。目前常用的思路包括时序注意力在 Transformer 中加入帧间注意力让每一帧生成时都参考前后帧的特征减少突变。关键帧锚定每 N 帧设置一个“锚点帧”后续帧以锚点帧为条件生成避免错误逐渐传递。运动先验模型先用大规模动作序列训练一个动作先验生成时把动作限制在“符合人体运动规律”的空间内。身份注入在生成过程中固定一段参考特征作为全局条件输入让模型始终“记得”主角的脸型和体型。这些方法往往不是互斥的实际系统通常组合使用。比如用 ControlNet 接收姿态序列再在 UNet 中加入时序模块和身份特征最后用关键帧约束输出。3. 数据准备从原始视频到可训练样本3.1 数据来源与版权合规高质量全身视频是所有人体生成模型的地基。常见的数据来源包括动作捕捉数据集、公开人像视频集、以及自采的绿幕棚拍视频。不同来源的数据对“持续生成”的帮助不同棚拍多视角数据视角一致、光照稳定适合做质量要求高的训练集。自然场景视频动作丰富、场景多样但背景复杂预处理成本高。运动捕捉数据集包含精准的骨骼运动序列适合训练动作先验但未必包含真实外观纹理。这里要特别强调任何数据都必须有合法授权。公开数据需要查看许可证自采数据需要获得被拍摄者的明确同意绝对不能抓取他人视频用于模型训练。人体身份信息属于敏感的隐私数据合规问题一旦处理不好后面即使技术指标再好也无法落地。3.2 预处理链路原始视频不能直接拿来训练通常要经过以下步骤抽帧按固定帧率从视频中提取图像序列。人体检测与分割检测画面中的人体框并分割出前景人体降低背景干扰。姿态估计提取二维关键点或三维模型参数生成控制信号。对齐与裁剪以人体中心为基准裁剪统一分辨率。质量筛选剔除模糊帧、重复帧、遮挡比例过高的帧。如果目标是长时间生成还需要对序列做切分保留连续动作片段而不是把随机帧堆在一起训练。序列切分的长度通常根据模型结构和显存容量决定常见的是 16 帧到 64 帧为一个训练样本。3.3 数据增强全身数据的场景多样性是训练稳定的关键。常用增强策略包括随机裁剪与缩放模拟镜头远近变化。颜色抖动与光照变化增强对环境的鲁棒性。随机遮挡模拟目标被部分遮盖的情况。随机水平翻转扩充动作方向。需要留意的是增强操作不能破坏姿态控制信号与真实帧之间的对应关系。比如裁剪之后姿态关键点的坐标也要同步变换否则模型会学到错误映射。4. 一个最小实验思路抽帧、姿态估计与简单时序检查“持续生成”听起来很复杂但我们可以先跑通一条最小实验链路从一段视频中提取帧检测人体姿态再计算连续帧之间的差异。这个流程虽然不能直接训练模型但能帮你理解数据是怎么流转的也是后续接入生成模型前的通用基线。4.1 创建独立环境与安装依赖推荐使用 conda 管理环境conda create -n bodygen python3.10 conda activate bodygen pip install opencv-python mediapipe numpy如果你的环境没有 conda也可以用python -m venvpython -m venv bodygen_env source bodygen_env/bin/activate pip install opencv-python mediapipe numpy版本需要根据你的系统实际情况调整这里重点是先保证后面脚本依赖的cv2、mediapipe、numpy三个库可用。4.2 视频抽帧脚本视频是无法直接输入神经网络的第一步是把视频转为图像序列。下面的脚本按“每 5 帧保留 1 帧”的方式抽帧# 文件路径extract_frames.py import cv2 import os def extract_frames(video_path, output_dir, step5): os.makedirs(output_dir, exist_okTrue) cap cv2.VideoCapture(video_path) frame_idx 0 saved 0 while True: ok, frame cap.read() if not ok: break if frame_idx % step 0: out_path os.path.join(output_dir, fframe_{saved:06d}.jpg) cv2.imwrite(out_path, frame) saved 1 frame_idx 1 cap.release() print(fprocessed {frame_idx} frames, saved {saved} images) if __name__ __main__: extract_frames(input_video.mp4, frames, step5)这个脚本的核心是cv2.VideoCapture循环读取帧通过取余操作控制采样间隔。step越大保存的帧越少训练时序列更短但也可能丢失高频动作细节。4.3 姿态估计用 MediaPipe 提取关键点有了帧序列后下一步是检测每帧的人体关键点。以 MediaPipe Pose 为例它输出 33 个三维人体关键点足够做基础姿态控制信号# 文件路径pose_estimation.py import cv2 import mediapipe as mp mp_pose mp.solutions.pose pose mp_pose.Pose(static_image_modeTrue, min_detection_confidence0.5) image cv2.imread(frames/frame_000000.jpg) image_rgb cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results pose.process(image_rgb) if results.pose_landmarks: for i, lm in enumerate(results.pose_landmarks.landmark): print(i, round(lm.x, 4), round(lm.y, 4), round(lm.z, 4)) else: print(no pose detected)这一步需要的注意事项MediaPipe 输入要求是 RGB 图像OpenCV 默认是 BGR必须做cvtColor。输出的是归一化坐标范围大约是 0 到 1和图像宽高无关。对模糊帧要设置置信度阈值过滤避免把错误关键点当成训练信号。4.4 简单的相邻帧差异检查“持续生成”最直观的问题就是画面是否突变。我们可以用相邻帧像素差做最简单的时序一致性检查# 文件路径temporal_check.py import cv2 import numpy as np def temporal_diff(frames_dir, num_frames100): prev None diffs [] for i in range(num_frames): img cv2.imread(f{frames_dir}/frame_{i:06d}.jpg, cv2.IMREAD_GRAYSCALE) if img is None: break curr img.astype(np.float32) / 255.0 if prev is not None: diff np.mean(np.abs(curr - prev)) diffs.append(round(diff, 4)) prev curr return diffs if __name__ __main__: print(temporal_diff(frames))如果某一段相邻帧差异明显高于其他片段说明画面发生了剧烈变化可能来自镜头切换、人物快速动作也可能是生成模型出现抖动。4.5 运行与结果说明运行流程如下python extract_frames.py python pose_estimation.py python temporal_check.py以一段 10 秒、30fps 的输入视频为例总共约 300 帧step5会得到约 60 张图像。姿态脚本会逐张输出关键点坐标时序检查脚本会输出一组小数通常集中在 0.01 到 0.1 之间。如果前后帧差达到 0.3 以上先检查是不是输入视频本身存在镜头切换。5. 生成质量的评估从单帧画质到全局稳定性评估“全身深度伪造持续生成”的质量不能只看单张图像漂不漂亮还需要一套组合指标。5.1 单帧质量指标单帧质量评估沿用图像生成的常见指标FIDFréchet Inception Distance衡量生成图像分布与真实图像分布的差距越低越好。SSIM衡量结构相似度反映局部结构和亮度的保真度。LPIPS感知相似度指标更接近人眼对图像质量的判断。这些指标适合判断“单张画面是否自然”但无法反映视频前后是否连贯因此还需要时序指标。5.2 时序一致性指标视频评估的核心是“前一帧和后一帧是否平滑”。常用手段有相邻帧像素差/PSNR简单直接但容易被轻微噪声干扰。光流一致性计算连续帧的光流场检查生成帧的运动是否与输入动作一致。FVDFréchet Video Distance比 FID 更适应视频分布是视频生成论文中使用较多的时间-空间质量指标。实际项目中建议把“相邻帧差”改成“窗口内平均差异”用 5 帧或 7 帧滑动窗口能减少单帧扰动带来的误判。5.3 身份与动作语义评估“生成的是一个人”这个判断交给指标更可靠身份相似度对生成帧重新做人脸识别提取特征向量计算与源视频身份向量的余弦相似度。分数越高身份保持越好。关键点误差把生成视频送入姿态估计器与目标动作序列做对齐计算关键点位置误差。用户研究找一组评估者对视频的自然度、身份一致性和动作流畅度做主观评分。主观评估成本高但更贴近真实要求。需要提醒的是评估指标要放在同一套数据集上对比否则没有意义。做模型迭代时固定随机种子和评估集是关键。6. 持续生成的核心挑战与排查思路长时间生成的问题千奇百怪但很多都可以追溯到几个根因。下面表格可以当作排查入口问题现象常见原因解决思路视频后半段身份变了身份特征弱化模型丢失长期记忆增加身份特征注入使用参考帧锚定手部出现扭曲手部关键点少模型生成自由度太高增加手部关键点约束使用手部修复模型画面抖动明显帧间生成独立缺少时序建模引入时序模块使用关键帧约束运动不符合物理规律训练数据动作单一先验不足扩充动作数据集加入运动先验显存不足无法生成长时间视频直接一次性生成过多帧分块生成重叠窗口融合训练不收敛数据未对齐姿态信号错误检查姿态估计结果清洗错位帧6.1 误差累积自回归生成是误差累积的重灾区。每一帧生成时都会把之前帧的信息带进来一次小错误经过几十帧放大就会变成明显失真。两条缓解路径降低自回归长度把连续生成改为“局部自回归 全局约束”。在训练时加入噪声扰动模拟推理时产生的误差分布让模型对误差更鲁棒。6.2 身份漂移身份漂移直观表现是“人越看越陌生”。根因是模型在长时间生成中把身份特征和动作特征混在了一起。工程上比较有效的做法是把身份特征单独编码例如用一个人脸识别网络提取 ID embedding在整个视频生成过程中作为固定条件输入不参与时间维度的隐变量更新。6.3 抖动与闪烁抖动通常来自两个方向生成模型本身不稳定或者帧间后处理不一致。可以先判断抖动频率如果高频抖动明显多半是逐帧生成缺少时间约束如果低频缓慢变化往往是身份或光照控制没有固定。常见的后处理方案是时序滤波例如对相邻帧的特征做指数滑动平均或使用光流引导的融合。6.4 计算资源瓶颈长视频生成的显存消耗是线性甚至超线性增长的。工程上普遍采用“分块生成 拼接”思路先分成多个片段每个片段内部保持时序建模片段之间做重叠窗口然后通过特征插值消除接缝。分布式训练也是必经之路。数据并行、梯度累积、混合精度训练基本是标配。如果条件有限先把序列长度缩小再逐步扩大比盲目追求长序列更现实。7. 风险边界、检测方法与合规要求7.1 滥用风险全身深度伪造的滥用风险比简单换脸更大。换脸影响的主要是面部信息而全身生成可以伪造一个人的完整动作和所处场景意味着可以制造“某人出现在某地、做了某事”的虚假证据。这种合成内容一旦被用于谣言传播、诈骗、恶意羞辱或非自愿场景会对个人和社会造成严重伤害。作为技术从业者至少在发布模型、开放接口、提供生成服务之前要评估以下问题用户能否用产品生成他人视频是否要求实名、授权或人工审核生成内容是否带水印或可追溯标识是否有举报和快速下架机制7.2 伪造检测方法检测端也在同步发展。目前常见的检测思路包括深度取证分类器用真实视频和合成视频训练二分类模型检测生成模型的“指纹”。伪影检测寻找生成过程中遗留的不自然痕迹例如人脸边缘模糊、手部结构异常、瞳孔不规则、牙齿纹理错误。数字水印与元数据在生成视频时嵌入不可见的标识或唯一的哈希信息方便追溯。区块链存证对原始视频与上传时间做可信存证用于事后溯源。需要说明的是检测模型和生成模型存在“军备竞赛”效应。没有一种检测方案是永久有效的实际系统需要多级组合并持续更新检测集。7.3 合法使用前提任何时候都不应该用他人形象做未授权生成也不能用生成内容欺骗公众。开发和使用相关技术的合法前提包括数据授权训练数据中人脸、动作、声音等生物特征必须获得明确授权。生成授权被生成者本人知情并同意不能默认“技术无害”就随意使用。部署授权企业在公开部署模型前应完成内部合规评审和安全测试。最小权限原则模型接口应控制生成权限、访问频率和下载方式避免被批量滥用。技术研究本身可以在封闭的数据集和测试环境进行但一旦进入公开网络就必须考虑法律、伦理和平台规则。8. 工程实践建议与学习路线8.1 工程实践建议如果你要在真实项目里做全身生成相关系统下面几条经验可以复用先建评估基线。数据没准备好之前不要急着调模型。先抽帧、算相邻帧差、测试姿态检测稳定性把基线指标固定下来再开始训练。固定数据切分和随机种子。生成模型对随机性非常敏感不固定种子会让实验结果无法复现。用小模型验证思路。先用低分辨率、短序列验证可行性思路通了再上长序列和大模型成本会低很多。重视数据质量而不是数据量。100 段高质量干净视频往往比 1000 段混乱视频更有利于训练稳定。模型版本管理。训练配置、数据 hash、代码版本、随机种子都要记录方便回溯。不要忽略后处理。很多生成结果最后看起来“假”不是模型问题而是缺少降噪、颜色校正、时序平滑等后处理环节。8.2 基础设施与成本全身视频生成对算力的要求很高。训练阶段常用的是多卡 GPU 服务器推理阶段如果要求实时通常需要 TensorRT 加速或模型量化。如果不是自建算力也可以考虑云 GPU 平台但要留意数据安全人体视频数据不宜直接传到没有明确隐私保护承诺的外部服务。8.3 学习路线如果你想系统往里走建议按下面的顺序掌握图像生成基础GAN、扩散模型的基本原理。掌握人体表示SMPL、SMPL-X 的参数含义和可视化工具。掌握条件控制ControlNet 类方法的姿态控制原理。掌握时序生成视频扩散模型、时序注意力、关键帧锚定。深入评估与检测理解 FVD、身份相似度、取证分类器。每一层都需要动手写代码验证不要只看论文。可以先从第四节的“抽帧 姿态估计 时序检查”开始把数据链路跑通再逐步挂载生成模型。在第一次生成长时间视频之前建议先想清楚两个问题你的输入动作序列从哪里来生成结果是否有明确的合规使用场景这两点确认了后面的工程问题大多只是时间问题。