LiveTalking 数字人直播快速上手3 步跑通第一条口型同步视频流【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-streammetahuman-streamLiveTalking是一个实时交互流式数字人引擎输入一段文字或一段音频它能实时合成语音、生成口型同步的数字人画面并通过 WebRTC 或 RTMP 推出去。适合想做虚拟主播、AI 客服问答、大屏讲解的数字人应用开发者。下面先给出一条最短的跑通路径再解释它内部做了什么、哪些配置值得调、出了问题怎么查。先判断它是否适合你的场景用之前先确认两件事你有一台带 NVIDIA 显卡的机器且你要的是实时流而不是离线视频。虚拟主播 / 无人直播数字人挂在直播间配合大模型自动说带货话术RTMP 推流出去。实时问答客服用户语音提问数字人实时回答中途还能被打断重新说。大屏讲解与远程会议以虚拟摄像头输出接进 OBS、Zoom 或腾讯会议当作一个摄像头用。如果目标是录一段视频文件慢慢看或者没有 GPU这个项目不是首选——它本质是一个常驻的实时推理服务。最小路径先跑通一次完整结果第一步拉取代码并安装依赖git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream pip install -r requirements.txt官方在 Python 3.12、CUDA 12.8 下测试通过torch 2.9.1CUDA 版本不同时按 PyTorch 官网装对应版本即可。第二步放好模型文件把wav2lip256.pth拷入models/目录并改名为wav2lip.pth把wav2lip256_avatar1文件夹解压后放入data/avatars/。模型可从 README 中给出的网盘链接下载。第三步启动服务python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1看到日志打印start http server; http://serverip:8010就说明服务起来了。用浏览器打开http://服务器IP:8010/index.html点击开始连接画面出现数字人在文本框输入一句话提交后看到数字人开口说话、口型跟随语音即代表整条链路跑通。注意 WebRTC 模式需要在防火墙上放行 TCP 8010 和 UDP 1-65536。核心能力拆解一句话从输入到推流走了哪些路整条数据流是文字/音频 → 大模型可选→ TTS 合成语音 → 音频特征提取 → 口型推理 → 画面合成 → 推流。输入侧/human接口接收文字type可为echo直接复读或chat交给大模型生成回复/humanaudio接收音频文件直接播放。每条连接分配独立 sessionid多个用户可以同时各自对话。语音合成tts/目录是模块化设计EdgeTTS、GPT-SoVITS、CosyVoice、腾讯云等多家方案可切换换引擎只改配置。口型生成avatars/下提供 wav2lip、musetalk、ultralight 等模型实现从音频里提取 Mel 频谱等声学特征逐帧生成口型再平滑贴回原始高清视频。输出侧streamout/提供 WebRTC浏览器低延迟、RTMP推直播平台、虚拟摄像头接会议软件三种出口启动时用--transport指定。关键配置哪些参数最值得调整所有配置集中在 config.yaml命令行参数可覆盖文件值。真正影响体验的有这么几项model用途选数字人模型建议wav2lip 快且省显存musetalk 画质更好但建议 3080Ti 及以上注意换模型要配套换 models/ 和 data/avatars/ 里的文件tts / REF_FILE / REF_TEXT用途语音引擎与音色克隆建议先用 edgetts 跑通再试 GPT-SoVITS 等支持克隆的引擎注意参考音频需为 16kHz 单声道 wav并配对应文本transport / push_url用途选择推流方式建议浏览器预览用 webrtc直播用 rtmp注意rtmp/rtcpush 必须同时填 push_urlmax_session用途最大并发会话数建议并发同时说话的路数取决于 GPU 算力先从小值调起别盲目拉高listenport用途服务端口默认 8010注意改端口后浏览器地址要同步改且别忘放 UDP 端口段进阶玩法常见扩展与组合方式声音克隆连接时传refaudio、reftext参数即可临时换音色不改全局配置。对话型数字人/human用chat模式配置llm_provider如 dashscope 接 Qwen后数字人就能自己生成回答形成完整问答闭环。动作编排通过customvideo_config或在连接参数传custom_config让数字人不说话时播放自定义视频直播等待期更自然。批量短视频对/record发start_record/end_record再从/record/{sessionid}下载 MP4适合批量产出讲解视频。上会议软件用--transport virtualcam启动在 OBS 或腾讯会议里选虚拟摄像头设备具体步骤见 docs/virtualcam_guide.md。定制形象/avatar.html页面上传一段真人视频自动生成新的数字人形象接口见 docs/avatar_api.md。验收与排障如何确认运行正常先看两个日志指标inferfpsGPU 推理帧率和finalfps最终推流帧率两者都 ≥25 才算实时。现象浏览器点了连接没画面。可能原因防火墙没放行 UDP 段或访问 IP 不对。排查动作确认 TCP 8010 与 UDP 1-65536 已开放用正确的服务器 IP 访问 index.html。现象RTMP 推流失败。可能原因transport 选了 rtmp 但 push_url 为空或推流服务器端口不通。排查动作检查 config.yaml 中push_url填写并验证推流地址端口可连通。现象说话卡顿、明显非实时。可能原因GPU 帧率不够或并发会话过多。排查动作对比两个 fps 指标定位瓶颈降低并发或换更轻的 wav2lip 模型。现象换形象后口型效果差。可能原因avatar 与模型不匹配。排查动作确认 avatar_id 与 model 来自同一套训练产物。下一步读完之后可以做什么通读 docs/api.md用/whep、/human接口接你自己的前端把数字人嵌进业务系统。把 model 换成 musetalk调整batch_size摸一下 GPU 余量对比画质与帧率。配置llm_provider接上大模型把数字人从复读机升级成能问答的对话体。在/avatar.html上传一段自拍视频生成属于自己形象的第一版数字人。【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考