换脸保特征：用于ITS中行人隐私的双用途管道

大家读完觉得有帮助记得关注和点赞！！！

摘要
训练人工智能模型为自动驾驶汽车（AV）——智能交通系统（ITS）的一项应用——做出实时决策，需要大规模且多样化的数据集。行人意图和轨迹预测是自动驾驶汽车中使用的关键模型，需要包含多样化行人图像的数据集。对这些数据集的无限制访问会带来严重的安全风险，如身份盗窃和行人追踪。挑战在于在保持训练模型所需图像属性的同时应用隐私保护流程。现有的隐私方法可能会保护行人的隐私，但会降低图像的可用性，从而阻碍模型的有效性。本工作的重点是实施一个五阶段管道，通过换脸技术保护行人隐私，同时保持基本的面部属性完整。该管道应专门定制以满足Egy-DRiVeS数据集的隐私需求。此外，还对Roop和Ghost-v2换脸模型进行了评估。事实证明，正如将要讨论的，Roop在多个方面优于Ghost-v2。因此，Roop是管道中使用的换脸模型，以在通过身份隐藏实现行人隐私和通过面部属性保留实现数据可用性之间取得平衡。

I 引言与相关工作

智能交通系统（ITS）通过使系统更智能、更安全和更具动态性，为出行行业做出了贡献。为了赋能ITS，必须利用包括人工智能（AI）、全球定位系统（GPS）、物联网（IoT）和大数据在内的蓬勃发展技术。一些AI模型允许在自动驾驶汽车中使用决策能力和感知机制，例如行人意图和轨迹预测以及路径规划。为了训练这些模型，大规模且多样化的数据集是必需的。使用基于AI的模型，车辆应该能够预测行人的预期行为，并做出适当的实时决策，以避免潜在碰撞并确保行人安全。包含真实行人片段以研究他们在各种情境下自然行为的数据集是必不可少的。至关重要的是，面部线索和身体运动是这些模型所需的主要特征 [10, 11, 3]。面部区域亟需保护，因为它揭示了关于行人的可识别生物识别数据。对这些数据集的未经授权访问会给行人带来严重的安全威胁，包括身份盗窃、通过数据挖掘提取个人信息、监控追踪和深度伪造生成。

一些国家已经制定了全球隐私法规，例如欧洲的《通用数据保护条例》（GDPR）和《加州消费者隐私法案》（CCPA）。一些发展中国家正在构建自己的城市数据集，同时遵守法律和伦理隐私保护指南。Egy-DRiVeS数据集是一个埃及数据集，包含从公共街道拍摄的图像和视频 [18]。这些城市数据集需要特定的隐私保护程序来处理其独特性，例如各种行人外貌，包括戴面纱的女性。

为了使AV应用合乎伦理地运行，应通过对数据集应用保护程序来保护行人的隐私。然而，在应用这些程序后，图像对训练任务的可用性也必须考虑。模糊化常用于混淆行人的面部，但由于面部属性不再清晰可辨，图像变得不可用。因此，必须采用既能确保行人隐私又能保持后续训练任务数据可用性的隐私保护技术。

本工作解决了在ITS数据集中保护行人隐私同时确保数据可用性得以维持的挑战。因此，本工作的目标是实施一个隐私保护管道，以保护行人身份并保持数据可用性。聚焦于面部区域，使用换脸技术来模糊行人身份，同时保留有效数据可用性所必需的面部属性。

简单的图像处理技术如模糊和像素化可以模糊行人身份 [1, 2]。然而，这些技术会降低图像质量，因为面部属性变得不可识别，在后续模型训练中无法使用。反向变换方法 [13]，如去模糊，可以在处理后恢复原始图像。因此，这些方法的输出既不能保证隐私也不能保证数据可用性。PRO-Face框架 [20] 旨在使行人对于人类不可识别，但对于识别机器可识别。最初对脸部图像应用混淆（如模糊）；然后，通过孪生网络将混淆图像与原始图像融合。输出是混淆的，但仍能被传统面部识别器识别。虽然适用于监控视频等应用（其中所有面部都将被匿名化），但系统能够为任何所需任务识别行人。因此，它不能用于行人意图预测，因为关键的面部属性不可见。

Deep-privacy [8]、CIAGAN [12] 和 Deep-privacy2 [7] 模型通过使用生成对抗网络（GAN）[4] 进行匿名化来保护面部隐私。这些模型生成合成面部以隐藏原始身份，并利用条件GAN [14] 来控制新图像中的面部属性，如姿势或面部表情。尽管所有模型都达到了高隐私标准，但它们表现出较低的属性保留能力。因此，它们不适用于依赖面部线索的AV训练数据集。

换脸通过将另一个源面部的身份特征转移到目标面部，同时保持目标的重要面部特征完整，来模糊目标的身份。这种方法很有前景，因为目标面部保留在画面中；自然分布和面部结构未被改变。因此，换脸技术在保持面部属性和保护行人隐私方面优于生成新匿名面部的其他方法。3PFS框架 [21] 提出了一个管道，同时保留后续任务中使用的面部属性和保护行人隐私。该管道包括行人和面部检测器、质量增强器、源面部选择算法和换脸器。使用了Ghost换脸器的微调版本。后来，开发了新版本的Ghost模型，Ghost-v2 [5]，专门用于处理野外图像。这个框架提出了最接近本工作目标的方法。尽管未正式发表，Roop [17] 是最强大的换脸模型之一，它利用一系列预训练模型来产生高保真度和高度逼真的结果。模型阶段包括面部检测与分析、换脸和增强。

基于所综述的文献，据我们所知，很少有方法明确解决AV数据集中行人隐私的问题。大多数现有模型处理高质量面部图像，这在低分辨率的AV数据集中并不常见。然而，一些举措填补了这一空白，如Ghost-v2 [5] 模型和3PFS管道 [21]。这凸显了致力于填补现有空白的必要性。

看起来，换脸技术在数据可用性和隐私之间提供了所需的精细平衡。基于成功的多阶段方法，如3PFS管道 [21] 和Roop [17] 模型，一些预处理和后处理步骤对于有效的换脸至关重要。相应地，本工作的主要贡献是：

1. 实施一个五阶段管道，在AV数据集中保护行人隐私并维持数据可用性，特别定制以处理埃及城市图像中发现的一些独特情况。

2. 利用Roop和Ghost-v2换脸器进行行人去标识化。

3. 在隐私保护和可用性维护方面评估换脸模型。

II 方法论

II-A 管道概述

该管道由五个阶段组成。首先，行人检测检测并分类帧内的行人。其次，人脸检测检测所检测行人的面部。然后，质量增强通过恢复来提高检测到的面部的质量。接着应用换脸，将面部属性从源面部转移到目标面部。最后，融合将新面部放回原始面部的位置。面部表情、头部姿势和视线方向是在转移过程中保留的特征。作为概念验证，该管道应用于单帧。使用的源面部是固定的，并从可公开共享的图像中随机选择。然而，由于使用的源和目标面部不会被透露，该过程是不可逆的，因此从管道的输出中无法识别源身份。因此，源身份不易被识别。图1说明了所提出的管道阶段。

图1： 所提出管道的5个阶段。

II-B 阶段1：行人检测

YOLOV11预训练模型 [9]（YOLO家族最新版本之一）用于检测不同对象，将其封装在边界框中，并用类名和置信度分数进行注释。它实现了更高的计算速度、准确性和精确度。原始图像中所有检测到的行人对象根据框坐标被裁剪，并输入到下一阶段。

II-C 阶段2：人脸检测

使用SCRFD预训练模型 [6] 进行人脸检测。由于通用目标检测器计算量大，SCRFD被优化以增强对不同尺寸、姿势甚至遮挡面部的检测，这使其适用于AV数据集。从裁剪后的行人图像中检测面部，用边界框包围，并裁剪以输入下一阶段。

II-D 阶段3：质量增强

AV数据集中的低分辨率图像阻碍了换脸过程，因此使用质量增强器。通用质量增强器无法恢复成功换脸所需的面部细节。因此，使用了Codeformer [22]，一个基于Transformer的盲人脸恢复模型。它使用一个码本为每个面部特征存储一组图像，以在恢复过程中指导模型，确保它选择最接近的特征，而不是创建可能影响面部属性保留的新特征。

II-E 阶段4：换脸

该阶段的目标是确保：

1. 目标图像中的身份被隐藏。

2. 目标的面部表情、视线方向和头部姿势得以保留。

3. 输出逼真，可用于进一步应用。

II-E1 Ghost-v2
Ghost-v2 [5] 将换脸扩展到换头，这考虑了更复杂的细节，如面部、头型和头发，允许更好的属性保留。它专门用于符合我们目标的野外场景。架构如下：

• 对齐器：通过将目标的姿势和面部表情应用于源身份来执行交叉重演。一组编码器在多个尺度上生成目标的姿势、面部表情和源身份的三个嵌入。这些嵌入被输入到条件GAN中，以输出具有目标姿势和面部表情的源身份。
• 混合器：通过使用颜色参考、修复技术和二值掩码输出最终结果。颜色参考用于使颜色和光照与目标图像对齐。掩码定义要混合的区域。最后，修复技术填充和重建最终输出中缺失的部分以匹配目标图像。

II-E2 Roop
尽管Roop [17] 是为娱乐目的开发的，但仔细观察其内部使用的预训练模型序列，可以解释其为何适用于预定目标。应用的阶段如下：

1. 人脸检测：SCRFD模型从输入帧中检测面部。

2. 人脸分析：如果输入图像中有多张脸，使用面部嵌入来选择最接近源的目标面部以实现更好的逼真度。这不适用于我们的情况，因为我们输入的是单张面部图像。

3. 换脸：使用预训练的换脸模型 Inswapper_128.onnx。它将交换后的面部融合回目标图像。

4. 人脸增强：使用 GFPGAN [19] 增强模型改善图像的整体质量。

II-F 阶段5：融合
使用从OpenCV库导入的SeamlessClone函数进行融合。该函数使用泊松图像编辑技术，通过操纵图像的梯度向量来无缝融合两个图像。相应地，去标识图像被放置在目标的坐标处，并调整边界处的像素值以显示图像梯度、颜色和光照之间的平滑融合。

II-G 评估
整个管道的性能通过评估换脸模型来评估，因为这是直接针对目标的核心功能部分。管道的其他阶段用于为换脸准备图像，并后处理换脸输出以生成匿名化和可用的行人图像。使用四个定量指标如下：

1. 关键点差异：面部关键点代表不同面部属性（如眼睛、鼻子和嘴角）的估计坐标。478个关键点反映面部结构、几何形状和姿势。计算原始面部和交换后面部关键点之间的平均空间距离。低值反映姿势、面部几何形状和结构保持良好。

2. 混合形状差异：混合形状预测器使用关键点生成52个面部表情系数（例如，browDownLeft 或 browDownRight）。计算原始和交换混合形状分数之间的绝对差之和，以表示面部表情变化的程度。值越低，表情保留越好。

3. 面部相似度：计算原始和交换面部嵌入之间的余弦相似度，表示原始和交换面部的相似程度。值越低，面部差异越大，因此身份保留越好。

4. 视线向量相似度：Gaze-LLE [16] 估计面部视线；它输出估计视线方向的向量。计算原始和交换向量之间的余弦相似度。值越高越好，推断目标视线得到保留。

III 结果与讨论

III-A 集合1：高质量面部图像的换脸
表I显示了换脸模型在高质量面部图像上的视觉输出，以评估独立模型的质量作为概念验证。从表I可以看出：

1. 两个模型都输出逼真的图像，隐藏了目标身份，没有伪影，如重影或颜色梯度不匹配。

2. 两个模型在视觉上都显示姿势和视线方向得到保留——将在表II中进行量化证明。

3. Roop保留了目标面部的头型、面部结构和头发——包括眉毛和胡须。与Ghost-v2不同，后者由于头部交换而从源获取所有这些属性。

评估指标是使用一组面部特写图像样本的平均值计算的。基于表II可以得出以下结论：

1. Roop具有更低的混合形状差异，因此它能更好地保留面部表情。

2. Roop具有更低的关键点差异，这表明Roop能更好地保留目标面部的面部结构、几何形状和姿势。

3. Ghost-v2具有更低的余弦相似度，这表明输出面部与原始面部的差异更大，更好地隐藏了目标身份。

4. 两者都具有非常高的视线余弦相似度值（≈1），这表明原始面部和交换面部的视线向量极其相似，因此该属性得到良好保留。

表I： 特写面部图像的换脸结果。

表II： 换脸器的评估结果。

III-B 集合2：行人和人脸检测模型的重要性
图2显示Ghost-v2无法检测到远处的面部来执行交换。尽管Roop由于其内部的人脸检测器在大多数情况下成功了，但在极端场景（如极远距离的行人或极度扭曲的面部）中也有少数失败。因此，使用行人和人脸检测模块来确保两个模型都输入清晰可检测的面部。

图2： Ghost-v2模型在原始街道图像上的输出。

图3显示了一个包含多个行人的输入图像，所有行人都被YOLO模型成功检测，然后输入到SCRFD模型，在阶段结束时为每个行人提供裁剪后的面部图像。在以下所有结果中都使用了从埃及街道拍摄的真实图像。

从图3可以看出，远处的面部质量低，面部属性不可见。显然，这阻碍了换脸过程，因为模型无法输出期望的结果，如表III所示。此外，从表III可以得出：

1. Ghost-v2无法处理遮挡的面部，而Roop可以。

2. Ghost-v2无法处理戴面纱的女性图像；由于执行全头部交换，它产生了一个不真实的、幽灵般的面部。

3. Roop被证明更可靠，因为它能够交换面部——与Ghost-v2不同，但它产生的低质量图像可能仍然不可用。

图3： YOLO和SCRFD模型的输出。

表III： 从埃及街道图像裁剪的面部上的换脸结果。

III-C 集合3：质量增强图像上的换脸
为解决街道图像低分辨率特性的挑战，在将裁剪图像输入换脸模型之前，对其应用了Codeformer质量增强模块。表IV显示了换脸的输出。可以注意到以下观察：

1. 在使用质量增强器后，两个模型的性能在输出高质量清晰交换面部的能力方面都得到了提升。

2. Ghost-v2在处理戴面纱女性图像方面仍然存在问题，在逼真度、交换保真度甚至属性保留方面都表现不佳。输出在视觉上不吸引人，面部表情与目标图像不同。

3. Roop在输出图像逼真度、属性保留和处理更具挑战性情况的鲁棒性方面仍然优于Ghost-v2。

表IV： 街道图像增强裁剪面部上的换脸结果。

III-D 结果：所实施管道的最终图像输出
前面的结果集旨在说明管道每个模块的重要性。本集将展示使用Roop模型（因为它被证明比Ghost-v2更可靠）对一张包含多个行人的埃及街道图像应用管道5个阶段的结果。值得一提的是，该过程完全自动化，输入是任何街道图像，输出是相同的图像，所有可检测到的行人都被匿名化。图4是一个样本，包含四个距离拍摄镜头不同距离的行人。管道能够检测并隐藏图像中四个行人的身份。

III-E 额外阶段：后续任务的可用性测试
基于视线方向的“看/不看”特征是行人意图预测模型中使用的最关键特征。它在JAAD数据集 [15] 等数据集中被标注。表5显示了在管道应用于所有清晰可见的行人之前和之后，预训练特征提取器的结果。该提取器用绿色突出显示看向镜头的行人，用红色突出显示不看镜头的行人。如图5所示，所有行人的“看/不看”特征在管道应用前后都得到保持，这证明管道能够在维护行人隐私的同时，保留后续任务所需的面部属性。

IV 结论与未来建议
包含行人片段的数据集将行人的隐私置于风险之中。因此，保护行人隐私是必须的；同样重要的是保持这些受保护图像对下游任务的可用性。因此，本工作实施了一个五阶段管道，旨在保留基本的面部属性（尤其是在埃及街道上）的同时保护行人隐私。结果表明Roop是管道的完美选择，因为它在4个定量指标中的3个上优于Ghost-v2。两个模型在高质量面部图像上都显示出令人满意的结果，但Roop在处理具有挑战性的场景方面被证明更鲁棒和可靠。Ghost-v2通常无法处理遮挡的面部，并用源头发替换了女性的面纱，这在伦理上可能是不恰当的。总之，所实施的管道能够成功地在行人隐私和数据可用性之间取得所需的平衡。

对于未来的工作，该管道将应用于Egy-DRiVeS数据集的更多样本，以更好地评估其可靠性和鲁棒性。此外，如果3分钟的推理时间得到优化，它可以应用于视频。而且，质量增强器将图像调整为统一尺寸，这在将图像调整回其尺寸进行融合时会扭曲面部属性。因此，微调模型以处理各种图像尺寸将是有益的。最后，源面部选择算法可以通过选择与目标不相似的源面部来提升性能，以实现更好的身份隐藏，并通过考虑年龄、性别和肤色获得更逼真的输出。此外，可以使用生成模型为源选择提供完全合成的面部。

图4： 应用五阶段管道后的样本输出。


图5： 使用管道前后“看/不看”特征的比较。