把聊天窗口变成“真人”：RealVideo 实时对话视频生成系统全解析
专科毕业也能看懂的 WebSocket 视频通话方案，附每一步命令、耗时表与踩坑 FAQ
1. 先回答你最想问的 3 件事
| 问题 | 一句话回答 |
|---|---|
| 它到底能干什么？ | 输入文字 → 立刻听到声音 + 看到对口型的真人视频，全程浏览器完成，无需安装插件。 |
| 我要花多少钱？ | 模型权重免费下载；只要自备 2 张 80 GB 显存的 GPU（H100/H200 均可）即可跑通。 |
| 代码好改吗？ | 纯 Python，模块化目录，改配置只动 config/config.py 一行，其余脚本一键启动。 |
2. 系统鸟瞰：一张图看懂数据流向
（文字版示意图，方便复制到 PPT）
浏览器 ←→ WebSocket ←→ 后端
后端：
① GLM-4.5-AirX 把文字→语义 token
② GLM-TTS 把 token→音频 wav
③ 自回归扩散模型（DiT）把 wav+参考图→逐帧图像
④ VAE 把图像潜变量→像素视频流
⑤ 浏览器 <video> 标签实时播放
整个链路平均延迟 480 ms 以内，肉眼可见“对上口型”。
3. 硬件与软件清单：先对照再打勾
| 项目 | 最低要求 | 推荐配置 | 备注 |
|---|---|---|---|
| GPU 显存 | 2×40 GB | 2×80 GB | 一张专供 VAE，一张跑 DiT；想提速可 4 卡并行 |
| CUDA 版本 | 11.8 | 12.1 | 与 PyTorch 2.1+ 匹配 |
| Python | 3.10 | 3.10—3.12 | 别用 3.9，依赖会冲突 |
| 浏览器 | Chrome 108+ | 最新稳定版 | 需支持 Web Audio API |
| 网络 | 局域网 | 上行 ≥50 Mbps | 否则 720p 视频会卡顿 |
4. 安装实录：从 0 到第一次张嘴
以下步骤在 Ubuntu 22.04 实测通过，Windows WSL2 同理。
4.1 拉代码与建环境
git clone https://huggingface.co/zai-org/RealVideo
cd RealVideo
python3 -m venv venv
source venv/bin/activate
pip3 install -r requirements.txt
4.2 下载 Wan2.2-S2V-14B 权重（约 28 GB）
huggingface-cli download Wan-AI/Wan2.2-S2V-14B \
--local-dir-use-symlinks False \
--local-dir wan_models/Wan2.2-S2V-14B
4.3 写 API 密钥
export ZAI_API_KEY="你的密钥"
密钥从 z.ai 控制台 申请，免费额度足够 demo。
4.4 告诉程序模型放哪
编辑 config/config.py 仅改一行：
PATH_TO_YOUR_MODEL = "wan_models/Wan2.2-S2V-14B/model.pt"
4.5 启动
CUDA_VISIBLE_DEVICES=0,1 bash ./scripts/run_app.sh
终端出现 WebSocket server listening on 0.0.0.0:8003 即成功。
4.6 打开浏览器
地址栏输入 http://localhost:8003 → 上传一张 512×512 头像 → 点击 Connect → 在底部文本框敲“你好”→ 回车。
3 秒内浏览器左侧会开始播放真人说话视频，口型与中文完全同步。
5. 速度到底够不够用？官方实测表解读
| DiT 并行规模 / 去噪步数 | 2 步 | 4 步 |
|---|---|---|
| 1 卡 | 563 ms（编译后 442 ms） | 943 ms |
| 2 卡 | 384 ms | 655 ms |
| 4 卡 | 306 ms | 513 ms（编译后 480 ms） |
结论
-
想“实时”，一定把单帧生成压到 500 ms 以内 → 选 2 卡 2 步或 4 卡 2 步。 -
编译（torch.compile）白送的 20 % 提速，记得打开：已在 run_app.sh默认开启。
6. 模块化代码结构：二次开发从哪下刀
RealVideo
├── scripts
│ ├── run_app.sh # 启动入口
│ └── dit_service.py # DiT 并行推理
├── config
│ └── config.py # 唯一要改的配置
├── vae_server.py # 潜变量解码服务
├── websocket_server.py # 双向信令
└── static
├── index.html # 前端 UI
└── js/webrtc.js # WebSocket + Web Audio
常见改动场景
-
换音色：在 websocket_server.py替换GLM-TTS调用为自训练 checkpoint。 -
换分辨率：改 vae_server.py中out_size=(512,512)为(768,768)，同时把去噪步数提到 4 步。 -
加鉴权：在 websocket_server.py的async def handler()里先验证 JWT。
7. 前端交互 4 步走：无代码玩家也能玩
| 步骤 | 动作 | 浏览器反馈 |
|---|---|---|
| ① 设置头像 | 点击“上传图片” | 预览框出现裁剪区域 |
| ② 克隆声音 | 上传 ≥3 s 的干净 wav | 波形图下方显示“Voice Registered” |
| ③ 连接 | 点击 Connect 按钮 | 按钮变绿，出现“WebSocket Open” |
| ④ 聊天 | 打字→回车 | 左侧视频窗立即播放，右侧文字留痕 |
8. 踩坑 FAQ：提前把坑填平
Q1 浏览器没有声音？
→ 检查是否自动播放被拦截，点地址栏右侧的小喇叭图标允许。
Q2 显存占用飙到 81 GB 直接 OOM？
→ 把 config.py 里的 max_batch=4 改成 1，或加环境变量 PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128。
Q3 视频画面花屏？
→ 99 % 是 VAE 与 DiT 的 latent shape 没对齐；确认 wan_models 版本与代码 commit 日期一致。
Q4 公司代理导致 huggingface-cli 下载断流？
→ 先 export HF_ENDPOINT=https://hf-mirror.com，再执行下载命令。
9. 想再快一点？三条工程化建议
-
把 VAE 单独放到一张 A10，DiT 用 H100，可再省 40 ms 网络等待。 -
对 GLM-TTS 做 8-bit 量化，显存腰斩，音质几乎无损。 -
前端用 WebCodecs API 直接解码 YUV，省去 JPG 编码开销，端到端再降 30 ms。
10. 与其他方案对比：为什么选 RealVideo
| 维度 | RealVideo | 传统 WebRTC + 录播 | 纯语音 3D 头像 |
|---|---|---|---|
| 真实度 | 真人照片 + 扩散口型 | 提前录视频，口型固定 | 卡通模型，无照片级 |
| 延迟 | <500 ms | 0（录播）但无法交互 | 200 ms 仅语音 |
| 可定制 | 换图即可换脸 | 需重录整段视频 | 需重绑骨格 |
| 硬件成本 | 2×80 GB GPU | 0 | 1×24 GB GPU |
11. 许可与致谢
-
模型权重采用 z.ai 自定义学术+商用许可证，允许二次分发，需署名。 -
项目引用的开源组件：Self-Forcing（MIT License），感谢作者 guandeh17。
12. 结语：把“数字人”从噱头变日常
RealVideo 用一条 WebSocket 就把文本、语音、视频三流合一，代码干净到可以当毕业设计模板。
如果你手里正好有 2 张 80 GB 显卡，不妨今天就把 demo 跑起来——上传一张自己的照片，让“另一个你” 24 小时在线陪聊，你会第一次真切感到：
“原来 AI 已经可以把我复制得这么像。”
下一步想做什么？给数字人加 long-term memory、多机位直播、还是直接嵌入到 Shopify 当客服？
源码就在仓库里，等你 Pull Request。
