从一张图到无限世界：Yume1.5 交互式世界生成模型全解析

核心问题：如何仅用一个文本 prompt 或单张图片，就让 AI 实时生成“能走、能看、能改”的持久 3D 世界，同时不牺牲画质、不拖慢帧率？

Yume1.5 给出的答案是：把“长视频生成”拆成“时-空-通道联合压缩 + 双向注意蒸馏 + 文本事件注入”，再配一套键盘鼠标即可上手。下面按“原理→落地→踩坑→速用”四段式拆开聊。

1 技术速览：Yume1.5 到底新在哪？

2 原理解码：三大模块如何咬合

2.1 长视频生成：TSCM 如何把“过去”压成“口袋大小”

核心问题：历史帧越来越多，DiT 注意层为何不会爆炸？

Yume1.5 把“记忆”拆成两条并行压缩路径：

1. 时-空压缩
   对历史帧随机跳采样（1/32），再用 Patchify 逐级下采样：

   • 最近 2 帧 → (1,2,2)
   • 3-6 帧 → (1,4,4)
   • 7-23 帧 → (1,8,8)
     越久远越模糊，但保留运动趋势，显存直接降到 O(log t)。

2. 通道压缩
   把同一段历史再压到 96 维，送进线性注意层。线性注意用 ReLU 核代替 softmax，计算量 ∝ 通道而非 token 数，因此再长也不慌。

两条路径最后拼回主 DiT，既让近帧细节保全，又让远帧语义不断档。

作者反思：早期我们像 WorldMem 一样靠“相机位姿重合度”挑帧，结果键盘一急转弯，挑选逻辑全乱。TSCM 无轨迹依赖，反而更稳。

2.2 实时加速：Self-Forcing 的“左右手互搏”

核心问题：4 步采样就能出 30 s 连贯视频，误差为何不放大？

训练阶段放三只模型同台竞技：

• Gt（教师）：50 步完整扩散，画质天花板
• Gs（学生）：4 步极速扩散，拟合 Gt 的分数轨迹
• Gθ（生成器）：实时自回归，用自身输出作为条件

目标函数是 DMD（Distribution-Matching Distillation）——让 Gs 的分数 ∇log p_fake 逼近 Gt 的 ∇log p_real。关键区别：条件不是真实视频，而是 Gθ 自己刚生成的帧，提前把“训练-推理”漂移纳入优化。蒸馏完成后，Gs 直接替换 Gθ，4 步出图还保持 0.836 的指令跟随分。

2.3 文本事件注入：让“突然下雨”成为系统变量

核心问题：键盘只能控制相机，如何让“天气、剧情、物体”也听命令？

Yume1.5 把一条 prompt 拆成两部分：

因为动作词汇有限（W/A/S/D/组合共 9 种），启动前全部推过 T5，内存中直接查 768 维向量，推理时零计算；事件描述只跑一次，后续复用。整套方案让文本控制 latency < 1 ms。

3 快速上手：安装、运行、调参一次讲透

3.1 最低硬件清单

• GPU：≥16 GB VRAM（RTX 4080/4090, A100 40G 更香）
• 系统：Ubuntu 20.04 / Windows 10 20H2+
• CUDA：12.1 及以上
• Python：3.10 精准版本，避免 torch 二进制不兼容

3.2 一键安装（Linux 示例）

git clone https://github.com/stdstu12/YUME.git
cd YUME
chmod +x env_setup.sh
./env_setup.sh fastvideo   # 自动创建 conda 环境
pip install -r requirements.txt
pip install .              # 可编辑安装，改代码后无需重复安装

Windows 用户直接双击 run_oneclick_debug.bat，浏览器自动弹出 Gradio 面板。

3.3 准备模型权重

把 .safetensors 文件放至上述文件夹即可，代码会自动软链。

3.4 典型推理命令

1. 图生视频（键盘控制）

bash scripts/inference/sample_jpg.sh \
  --jpg_dir="./my_images" \
  --caption_path="./caption.txt" \
  --steps=4 \
  --resolution="720p"

caption.txt 一行对应一张图，示例：

A quiet suburban street, suddenly a UFO flies over the roof. Camera turns right.

2. 文生视频（纯文本事件）

bash scripts/inference/sample_tts.sh \
  --T2V \
  --prompt="Dragon breathing fire above a medieval castle" \
  --steps=4

3.5 可调参数表

4 场景实战：三条业务链路示范

4.1 场景 A：房地产“云看房”无限漫游

• 输入：单张客厅全景图
• 事件 prompt： “Smooth walk-through from living room to balcony at sunset”
• 键盘：W+↑→ 组合，模拟人眼前行 + 抬头
• 输出：30 s 连续 720p 视频，自动保持家具比例、光影一致，FPS 12

作者反思：地产客户最怕“穿模”。我们把 Actual distance 锁 1.5 以内，Angular <3，基本杜绝了“穿墙而出”。

4.2 场景 B：独立游戏“瞬移世界”原型

• 输入：概念原画（像素小镇）
• 事件 prompt： “Retro pixel town, sudden heavy rain, NPCs run for shelter”
• 控制：玩家键盘 WASD → 实时生成下一帧，4 步延迟 0.33 s，VR 可接受
• 结果：策划无需建模即可体验关卡尺度，美术后续再精修关键帧

4.3 场景 C：影视预览“气氛动画”

• 输入：气氛图（赛博夜景）
• 事件 prompt： “Neon city, flying car swoops down, camera shakes”
• 步骤：50 步高质感，生成 6 段 5 s 视频拼接
• 收益：导演在故事板阶段就能敲定镜头节奏，节省实拍成本 20%

5 踩坑记录：来自第一线的 6 条教训

1. 显存看似足，仍报 OOM
   元凶是 xformers 版本不匹配，务必 pip install xformers==0.0.23 与官方 lock 文件对齐。

2. 4 步采样出现“鬼影”
   把 Self-Forcing 训练迭代从 600 提到 800，美学分提升 4%，鬼影基本消失。

3. 键盘控制延迟高
   默认用 SDL 轮询，改为 DirectInput 后延迟从 120 ms 降到 28 ms。

4. 长视频后半段“发灰”
   因为线性注意层未加 Norm。在 DiTBlock 里给 q/k 追加 LayerNorm，发灰问题解决。

5. 中文路径爆炸
   数据集含中文空格导致 cv2.imread 失败。统一用英文软链，代码里加 sys.setdefaultencoding('utf-8') 兜底。

6. Windows 一键包打不开
   系统缺少 msvcp140.dll 运行库，提前装 VS 2015-2022 运行合集即可。

6 性能对标：实测数据一览

延迟指标：生成 96 帧（6 s@16fps）所需时间；指令分越高越听话。

7 局限与展望

• 反向行走：5B 参数还是太小，人群密集场景会出现“倒着跑”。作者团队正试验 8×MoE，参数翻 3 倍， latency 维持 4 步。
• 分辨率：720p 已是极限，4K 需要 40 GB 显存，商业落地仍需云串流。
• 物理规律：车辆突然悬空、雨幕不穿水面等违反常识的帧仍约 3%-5%。计划引入物理引擎先验做二次矫正。

8 一页速览（One-page Summary）

1. 装好 conda + CUDA 12.1 → 运行 env_setup.sh
2. 下载 Yume-5B-720P 权重 → 放 ./Yume-5B-720P
3. 写 caption.txt → 一行一句事件描述 + 相机动作
4. 调 steps=4 / 实际距离≤2 / 角速度≤3，先出小样
5. 画质满意后改 steps=20 做最终输出
6. 长视频>8 块恒定速度靠 TSCM，无需手动截断历史帧
7. 出现鬼影 → 把 Self-Forcing 训练步数加到 800
8. Windows 用户直接 run_oneclick_debug.bat，其余步骤同上

9 常见问答（FAQ）

Q1：没有 16 GB 显存能跑吗？
可以跑 540p，但需把 batch_size 调成 1，steps≥8，帧数压缩到 48 帧。

Q2：文本事件能同时控制天气和出现新物体吗？
目前事件描述支持“天气/时间/光照/简单 NPC 动作”，尚不能精细到“让红色轿车左转”。需要等 MoE 大模型版本。

Q3：键盘自定义映射如何改？
编辑 wan/control/vocab_human.py 里的字典，重新 pip install . 即可生效。

Q4：为什么 4 步和 20 步画质差距不大？
Self-Forcing 蒸馏已把 50 步教师轨迹压缩到 4 步学生，差距主要在高频纹理，720p 下 PSNR 差距 < 0.8 dB。

Q5：商用需要授权吗？
项目采用 MIT 协议，权重随论文公开发布，商业使用需遵守模型 card 里“再分发需注明来源”条款即可。

Q6：能否接入 Unreal/Unity？
社区已有志愿者放出 UDP 插件，把键盘指令转成 W/A/S/D 包，实时喂给 Yume1.5，再贴回引擎 GUI，延迟 < 100 ms。

Q7：数据集自己做麻烦吗？
按 decode_camera_controls_from_c2w_sequence.py 把轨迹转键盘符号即可。1 小时 4K 视频≈2 小时脚本处理完。

作者结语：一年前我们还在用 14B 模型苦等 10 分钟出 5 秒视频，如今 5B 模型 4 步就能实时漫游。降低门槛比盲目堆参数更激动人心——愿 Yume1.5 帮你把“如果世界可以互动”变成“我现在就走进去”。