这次我们来看一个基于 AI 图像生成与角色替换技术的趣味项目。这个项目的核心，是利用 Stable Diffusion 这类文生图模型，结合 ControlNet、LoRA 等微调技术，实现将特定动漫或游戏角色（如《Fate》系列的远坂凛）替换为另一个角色（如《崩坏：星穹铁道》的符玄）的图像创作。它不是一个独立的软件，而是一套技术思路和工作流的实践，重点在于展示如何通过现有的开源 AI 工具链，实现高精度、高一致性的角色替换效果。

对于想要进行二次创作、角色设计或概念美术探索的开发者与创作者来说，这个项目演示了从想法到成图的关键技术路径。本文将不涉及任何具体的“一键包”或成品工具，而是聚焦于实现此类效果所需的核心技术组件、环境搭建、工作流构建以及效果调优。如果你关心如何在本地部署的 AI 绘画环境中，通过控制网络和角色模型实现精准的角色特征替换，并理解其背后的显存开销、参数调整逻辑，那么这篇文章会提供一套清晰的实践指南。

1. 核心能力速览

2. 适用场景与使用边界

这个技术组合非常适合特定的创作者和开发者群体：

• 动漫/游戏同人创作者：希望将喜爱的角色放入不同的作品世界观或进行“跨界”联动创作。
• 概念设计师：需要快速生成同一姿势、不同角色设定的方案草图，辅助设计迭代。
• AI 绘画技术爱好者：希望深入理解 LoRA 微调、ControlNet 控制以及提示词工程如何协同工作。
• 内容生产实验者：探索自动化、批量化的角色特征替换工作流，用于内容生成管线。

然而，有明确的使用边界需要警惕：

1. 版权与肖像权：生成的图像若包含受版权保护的角色形象（如远坂凛、符玄），仅可用于个人学习、研究和非商业的分享。任何商用行为都必须获得原始版权方的授权。使用真人照片作为基底进行替换时，必须获得肖像权人的明确许可。
2. 创作伦理：避免生成具有误导性、诽谤性或有害的内容。技术应用于创造美好和有趣的事物。
3. 技术局限性：角色替换并非完美无缺。复杂的光影、特殊服饰纹理、手部细节等可能出现瑕疵，需要后期手动修正或多次迭代生成。
4. 硬件要求：如核心能力表所述，流畅体验需要一定的 GPU 算力支持。

3. 环境准备与前置条件

在开始构建“凛替换为符玄”的工作流之前，你需要准备好以下基础环境。以下以更普及的Stable Diffusion WebUI (Automatic1111)为例进行说明，ComfyUI 思路类似但操作界面为节点式。

基础运行环境：

• 操作系统：Windows 10/11， Linux 或 macOS（Apple Silicon 芯片体验更佳）。Windows 用户最多。
• Python：版本 3.10.x。这是大多数 SD 相关项目兼容性最好的版本。
• Git：用于克隆项目仓库。
• CUDA 与显卡驱动：NVIDIA GPU 用户，确保安装最新版显卡驱动和与 PyTorch 版本匹配的 CUDA Toolkit（通常 WebUI 安装脚本会处理）。AMD GPU 用户需配置 ROCm。

核心软件部署：

1. Stable Diffusion WebUI：这是我们的主战场。通过 Git 克隆官方仓库并启动安装脚本。
2. 基础模型 (Checkpoint)：需要下载一个通用的文生图大模型作为基底。例如SD 1.5系列的chilloutmix、realisticVision，或SDXL系列的SDXL base 1.0。模型文件（.safetensors或.ckpt）需放入 WebUI 的models/Stable-diffusion目录。
3. ControlNet 模型：用于控制姿态、构图。至少需要下载control_v11p_sd15_openpose（姿态）、control_v11f1p_sd15_depth（深度）等模型，放入extensions/sd-webui-controlnet/models目录。
4. LoRA 模型：这是实现角色替换的关键。你需要分别拥有：
   • “远坂凛”特征的 LoRA：用于在需要时生成或强化凛的特征。
   • “符玄”特征的 LoRA：这是我们想要替换成的目标角色模型。
   • LoRA 模型文件（.safetensors）需放入models/Lora目录。你可以在 Civitai 等模型社区搜索和下载，关键词如 “Fate Rin Tohsaka Lora” 和 “Honkai Star Rail Fu Xuan Lora”。务必遵守模型发布者的使用协议。

磁盘空间：预留 20GB 以上空间用于存放模型文件。一个基础模型约 2-7GB，多个 ControlNet 和 LoRA 模型也会占用数 GB 空间。

4. 安装部署与启动方式

步骤一：部署 Stable Diffusion WebUI打开终端（Windows 用户可使用 PowerShell 或 Git Bash），执行以下命令克隆并启动 WebUI。

# 克隆 WebUI 仓库 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui # 启动安装脚本（Windows） webui-user.bat

首次运行webui-user.bat脚本会自动创建 Python 虚拟环境、安装依赖、下载必要的组件。这个过程耗时较长，依赖网络环境。

步骤二：安装 ControlNet 扩展WebUI 启动后，通过其扩展面板安装 ControlNet。

1. 访问 WebUI 的Extensions标签页。
2. 选择Available子标签，点击Load from。
3. 在扩展列表中找到sd-webui-controlnet，点击其右侧的Install按钮。
4. 安装完成后，回到Installed子标签，点击Apply and restart UI重启 WebUI。

步骤三：下载并放置模型文件按照上一节说明，将下载好的基础模型、ControlNet 模型、LoRA 模型分别放入对应的目录。重启 WebUI 后，模型应该会被自动加载。

步骤四：启动与访问运行webui-user.bat后，脚本会自动启动服务。当终端出现类似Running on local URL: http://127.0.0.1:7860的信息时，表示启动成功。 在浏览器中访问http://127.0.0.1:7860即可打开 WebUI 操作界面。

端口冲突处理：如果 7860 端口被占用，可以编辑webui-user.bat文件，找到set COMMANDLINE_ARGS=这一行，修改为set COMMANDLINE_ARGS=--port 7865（或其他空闲端口）。

5. 功能测试与效果验证

我们将通过两个核心场景来验证角色替换工作流：文生图植入和图生图替换。

5.1 场景一：文生图植入符玄特征

这个场景是从零开始，生成一张具有符玄特征的新图。

1. 选择基础模型：在 WebUI 左上角，选择你下载的 SD 1.5 或 SDXL 基础模型。
2. 输入提示词 (Prompt)：

   (masterpiece, best quality), 1girl, solo, Fu Xuan from Honkai: Star Rail, long pink hair, purple eyes, intricate hanfu, celestial theme, floating divination boards, serene expression, in a mystical library, soft lighting (杰作，最佳质量)，1女孩，单人，崩坏：星穹铁道符玄，粉色长发，紫色眼睛，精美汉服，星空主题，漂浮的卜算盘，宁静的表情，在神秘的图书馆中，柔和光线

3. 加载 LoRA：在提示词输入框下方，点击生成按钮附近的灰色小按钮（或使用<lora:filename:weight>语法）。选择fu_xuan_lora.safetensors，并设置权重（如 0.8）。提示词框会自动添加类似, <lora:fu_xuan:0.8>的文本。
4. 设置参数：采样方法（如 DPM++ 2M Karras），步数（20-30），图片尺寸（如 512x768）。
5. 生成：点击 Generate。观察生成的人物是否具有符玄的粉发、紫瞳、服饰等核心特征。

成功判断：生成图像的主体角色在发型、瞳色、服饰风格上明显符合符玄的设定，而非一个随机古风角色。

5.2 场景二：图生图替换（凛 -> 符玄）

这是本次项目的核心，即保留原图（凛）的构图与姿态，替换为符玄的形象。

1. 准备原图：找一张远坂凛的清晰图片，姿势和构图最好简单明了。
2. 切换到图生图 (img2img) 标签页：将原图拖入图生图区域。
3. 输入提示词：描述你想要的最终效果，重点强调符玄。

   (masterpiece, best quality), Fu Xuan from Honkai: Star Rail, long pink hair, purple eyes, intricate hanfu, same pose and composition as input image (杰作，最佳质量)，崩坏：星穹铁道符玄，粉色长发，紫色眼睛，精美汉服，与输入图像相同的姿势和构图

4. 设置重绘幅度 (Denoising strength)：这是关键参数，控制改变程度。建议从 0.5 开始尝试。值太低（如0.3）可能改变不大，值太高（如0.8）会破坏原图构图。
5. 启用并配置 ControlNet：
   • 展开 WebUI 下方的 ControlNet 折叠面板。
   • 将同一张远坂凛原图拖入 ControlNet 的图片区域。
   • 勾选Enable和Pixel Perfect。
   • 预处理器 (Preprocessor) 选择openpose或depth，模型 (Model) 选择对应的control_v11p_sd15_openpose或control_v11f1p_sd15_depth。
   • 控制模式 (Control Mode)选择Balanced或My prompt is more important。权重 (Weight) 可以设为 1.0。
6. 加载符玄 LoRA：同场景一，在提示词中添加符玄的 LoRA。
7. 生成与迭代：点击生成。首次结果可能不完美，需要调整：
   • 调整重绘幅度：在 0.4-0.7 之间微调。
   • 调整 LoRA 权重：在 0.7-1.0 之间调整符玄特征的强度。
   • 调整 ControlNet 权重：如果姿态保持不好，提高权重；如果特征替换不彻底，适当降低权重。
   • 优化提示词：增加对服饰、发色的细节描述。

成功判断：生成的新图像保持了原远坂凛图片的姿势、角度和大致构图，但人物的发型、发色、瞳色、服饰等视觉特征已替换为符玄的形象，且整体画面自然协调，无明显扭曲或拼接感。

6. 接口 API 与批量任务

当单次测试效果稳定后，可以通过 API 进行编程调用，实现自动化或批量处理。

启动 API 服务： 在启动 WebUI 时，需要添加--api参数。修改webui-user.bat中的set COMMANDLINE_ARGS=为：

set COMMANDLINE_ARGS=--api --port 7860

重启 WebUI 后，API 服务即启用。

调用文生图 API (Python 示例)： 以下示例展示如何通过 API 调用，使用符玄 LoRA 生成图片。

import requests import json import io from PIL import Image url = "http://127.0.0.1:7860/sdapi/v1/txt2img" payload = { "prompt": "(masterpiece, best quality), Fu Xuan, long pink hair, purple eyes, hanfu, <lora:fu_xuan:0.8>", "negative_prompt": "(worst quality, low quality:1.4), deformed, bad anatomy", "steps": 20, "cfg_scale": 7, "width": 512, "height": 768, "sampler_name": "DPM++ 2M Karras", "override_settings": { "sd_model_checkpoint": "chilloutmix_NiPrunedFp32Fix.safetensors" # 你的基础模型名 } } response = requests.post(url=url, json=payload) r = response.json() # 保存图片 for i, img_base64 in enumerate(r['images']): image = Image.open(io.BytesIO(base64.b64decode(img_base64.split(",",1)[0]))) image.save(f'output_fu_xuan_{i}.png')

批量图生图任务： 对于多张远坂凛图片批量替换为符玄，可以编写脚本循环处理。

1. 准备输入输出目录：将待处理的凛图片放入input_rin/目录。
2. 编写批量脚本：脚本逻辑为：读取input_rin/下每张图片 -> 调用图生图 API（需在 payload 中传递图片的 base64 编码、设置重绘幅度、启用 ControlNet 参数）-> 将结果保存至output_fu_xuan/目录。
3. 处理队列与错误处理：在脚本中加入简单的队列机制和异常捕获（如请求超时、显存不足），确保某张图片处理失败时能记录日志并继续下一张。

API 调用注意事项：

• ControlNet 的参数需要通过"alwayson_scripts"字段传递，结构较为复杂，建议先在 WebUI 界面生成一次，通过其内置的“文生图/图生图参数”标签页查看和复制完整的 API 请求数据。
• 批量处理时，注意在每批次任务之间增加短暂间隔，避免服务压力过大。
• 妥善管理输出文件命名，避免覆盖。

7. 资源占用与性能观察

在执行角色替换任务时，资源占用是影响体验的核心因素。

显存占用观察：

• WebUI 界面观察：在 WebUI 生成图片时，终端或控制台会输出显存使用情况。也可以使用nvidia-smi命令（NVIDIA GPU）在另一个终端窗口实时监控。
• 主要占用因素：
  1. 基础模型：SD 1.5（约 2GB）比 SDXL（约 7GB）显存占用小。
  2. 图片分辨率：生成 512x512 图片和 1024x1024 图片的显存需求差异巨大。分辨率翻倍，显存占用可能增加数倍。
  3. ControlNet 数量：每启用一个 ControlNet 单元，都会增加显存开销。同时启用 OpenPose 和 Depth，开销大于只启用一个。
  4. 批处理数量 (Batch size)：一次性生成多张图片会线性增加显存占用。
• 典型场景估算：在 8GB 显存的 GPU 上，使用 SD 1.5 基础模型 + 1个 ControlNet + 1个 LoRA，生成一张 512x768 的图片，显存占用通常在 4-6GB 之间。如果接近或超过显存容量，会导致生成失败或速度极慢。

性能优化建议：

1. 使用--medvram或--lowvram参数：在webui-user.bat的启动参数中添加这些参数，可以优化显存使用，但可能会降低生成速度。
2. 使用 xFormers：确保安装 xFormers 库（通常安装脚本会自动尝试），可以提升生成速度并节省显存。
3. 降低分辨率：在效果可接受的范围内，优先使用较小的分辨率进行测试和迭代。
4. 关闭不必要的预览：在 WebUI 设置中关闭实时预览等功能。
5. 清理内存：长时间运行后，可以重启 WebUI 以释放累积的显存碎片。

8. 常见问题与排查方法

9. 最佳实践与使用建议

为了更高效、稳定地运行角色替换工作流，遵循以下实践建议：

1. 建立标准化测试流程：

   • 准备一套“测试套件”：包含不同姿势、不同复杂度的远坂凛原图。
   • 固定一组基础参数（采样器、步数、CFG Scale），每次只调整一个变量（如重绘幅度、LoRA权重、ControlNet权重）来观察效果变化，记录最佳组合。

2. 模型与素材管理：

   • 对模型进行清晰分类和命名。例如，在models/Lora下建立fate/、honkai_star_rail/等子目录。
   • 输入图片和输出图片也按项目分目录存放，便于追溯和对比。

3. 提示词工程：

   • 使用高质量的正面提示词模板（如(masterpiece, best quality, detailed:1.2)）。
   • 使用针对性的负面提示词（如(worst quality, low quality:1.4), deformed, bad anatomy）来过滤常见瑕疵。
   • 对于角色特征，除了 LoRA，也可以在提示词中加入具体的发色、瞳色、服饰名称。

4. 合规与授权自查：

   • 模型层面：确认下载的 LoRA 模型允许商用或二次创作。
   • 输入层面：确保使用的远坂凛原图是官方素材、自己绘制或明确可免费用于AI训练/生成的。
   • 输出层面：生成的符玄图像，若包含明显可识别的版权角色特征，应仅限于个人学习、研究或符合“合理使用”原则的分享，避免直接商用。

5. 效果迭代与后处理：

   • AI 生成并非一步到位。对于不满意的结果，可以将其作为新的输入图，降低重绘幅度进行“图生图”迭代精修。
   • 将生成结果导入 Photoshop、GIMP 等软件进行后期调色、修补瑕疵（如错误的手部），是提升最终质量的常见做法。

10. 总结与下一步

通过本文的梳理，我们可以看到，将“远坂凛替换为符玄”并非依赖某个神秘工具，而是对 Stable Diffusion 生态中 LoRA（角色特征库）和 ControlNet（构图控制器）两项核心技术的组合应用。整个过程的关键在于平衡：用 ControlNet 的“力”去约束原图的形态，用 LoRA 和提示词的“意”去注入新角色的灵魂，再用重绘幅度这个“阀门”来控制改变的程度。

最值得尝试的第一步，是在 WebUI 中完成一次完整的“图生图+ControlNet+LoRA”流程。哪怕效果初看并不完美，这个流程能让你直观理解每个参数的作用。最容易踩的坑通常是显存不足、ControlNet 未生效、以及 LoRA 权重设置不当。

成功实现单张图片替换后，你可以探索更多方向：

• 工作流固化：将调试好的参数组保存为 WebUI 的预设样式 (Style)，或使用 ComfyUI 将整个流程构建成可重复使用的节点图。
• 视频角色替换：利用 EbSynth、Stable Video Diffusion 或分帧处理的方式，尝试将替换技术应用于短视频片段。
• 多角色融合：尝试同时加载多个 LoRA，探索角色特征的混合与创新。
• 个性化训练：使用 Kohya SS 等工具，为你自己的原创角色或特定画风训练专属的 LoRA，实现完全自主可控的角色生成。

技术是画笔，创意是灵魂。在享受 AI 绘画带来的无限可能时，请始终牢记创作的合规性与责任感。希望这篇指南能帮助你顺利启动自己的角色替换项目，在合法合规的框架下，创造出更多有趣的作品。