VITRA 全景速览：用百万段“野生”人手视频把机器人预训练做到 6 厘米级精度

核心问题：没有昂贵遥操作，也没有实验室脚本，仅凭网上随手拍的人手视频，能不能把机器人“教”到开箱即用的程度？
一句话答案：可以。VITRA 用 1M+ 段无标注 egocentric 视频把零样本动作误差压到 6 cm，小样本微调后真实机械手抓取成功率提升 3 倍，数据规模再翻倍性能继续线性上涨。

本文将回答的 6 个关键疑问

1. VITRA 到底把“野生视频”变成了什么样的训练格式？
2. 3D 标签只靠单目，精度够用吗？
3. 模型架构为什么非得“因果扩散”？
4. 真实机器人微调时，人手→机械手怎样对齐？
5. 数据规模 vs 性能曲线真的不会撞墙？
6. 如果我只想要“开箱即用”的推理，最少需要几步？

一、从“野生视频”到可训练 VLA 三元组：三步流水线

场景化说明
假设你有一段 7 分钟做饭 vlog，系统先把它切成 20 s 滑动窗口；在窗口里发现第 132 帧右手速度最低，于是“咔嚓”剪出 1.8 s 片段；把 8 帧缩略图连同一根从掌心到指尖的彩色轨迹喂给 GPT，得到指令“Right hand: Pick up the spatula.”——一条标准 VLA 训练样本就此诞生。

二、3D 标签误差实测：单目也能做到 6 cm 中位精度

作者反思
“单目+SLAM 最怕尺度漂移，我们最初用 DepthAnything 做先验，误差飙到 11 cm；换成 MoGe-2 后一次性降到 6 cm——说明深度先验的质量比‘有没有激光雷达’更关键。”

三、模型架构：为什么非得“因果扩散”？

3.1 宏观结构

PaliGemma-2 3B (Vision+Language)
        ↓ 认知 token fc
Diffusion Transformer 136 M（因果自注意力）
        ↓
16 步动作块 ΔT+ΔR+θ (102 维)

3.2 因果注意力的现实意义

• 人手视频往往 1 s 就结束，模型必须学会“提前停”；
• 若用双向注意力，末尾的 zero-padding 会把早期轨迹拉偏；
• 训练阶段对 zero 位置 mask 掉 loss，推理阶段用 DDIM 10 步即可。

场景化示例
用户上传一张“桌面+耳机盒”照片，指令“Right hand: Grab the earbuds.”
模型输出 16 帧动作：前 6 帧掌心向前移动，第 7–12 帧食指拇指对捏，后 4 帧速度自然衰减到 0——因果结构保证“减速”不是被未来 zero 强制拖尾。

四、机器人微调：人手→机械手 18 维对齐秘籍

代码片段（PyTorch 伪代码）

# 机器人状态 -> 人手状态
human_state = transfer_xhand_to_human(robot_state)
# 模型推理
norm_action = model.predict_action(image, instr, human_state, ...)
# 人手动作 -> 机器人动作
robot_action = transfer_human_to_xhand(norm_action)

场景化说明
在真实 Realman+XHand 平台上，操作者用遥操作手套录了 1200 条“倒瓶子”轨迹；用上述映射把 12 关节角扩展成 45 维，预训练模型只须 20 K 步就收敛，最终倒酒任务成功率 75%，比从头训练高 43 个百分点。

五、数据规模实验：性能随“对数帧数”线性涨

下图纵轴为 hand-object 距离（cm），横轴为训练帧数（log 尺度）。

图片来源：Unsplash

作者反思
“当数据覆盖到‘工地刷墙’‘画室调色’这类长尾场景后，模型在‘ unseen 背景’上的误差才开始同步下降——说明多样性红利远没吃尽，继续加数据仍然有效。”

六、零样本推理最小可用范例：5 行代码跑通

from vitra.models import load_model
from vitra.utils.data_utils import resize_short_side_to_target, load_normalizer

model = load_model("VITRA-VLA/VITRA-VLA-3B").cuda().eval()
normalizer = load_normalizer("VITRA-VLA/VITRA-VLA-3B")

image = resize_short_side_to_target(Image.open("demo.jpg"), 224)
action = model.predict_action(
        image=np.array(image),
        instruction="Right hand: Pick up the screwdriver.",
        current_state=np.zeros(212),   # 初始状态全零
        action_mask_torch=torch.ones(16,2),
        num_ddim_steps=10, cfg_scale=5.0)
print(normalizer.unnormalize_action(action))

实测结果
在 117 个“从未出现”的手机拍摄场景里，用户主观打分 1.91/3.0，比第二名的 0.15 提升一个量级。

七、真实机器人任务成功率对比

图片来源：Unsplash

实用摘要 / 操作清单

1. 装环境

   conda create -n vitra python=3.10
   pip install -e .[visualization]
   git submodule update --init --recursive
   

2. 下载模型与统计量

   huggingface-cli download VITRA-VLA/VITRA-VLA-3B --local-dir ./vitra-3b
   

3. 准备 MANO 权重

   • 官网下载 MANO_RIGHT.pkl 与 mano_mean_params.npz 放入 weights/mano/

4. 零样本推理

   • 用 scripts/run_human_inference.sh 或上文 5 行代码即可。

5. 微调自家机器人

   • 继承 RoboDatasetCore 类，实现 __getitem__ 返回 8 个字段；
   • 运行 calculate_statistics.py 生成归一化参数；
   • 改 robot_finetune.json 里的路径，执行 bash scripts/run_robot_finetune.sh。

一页速览（One-page Summary）

• 把“野生”人手视频变成 1M 段 VLA 数据，无需人工标注。
• 单目 3D 重建 + 速度分割 + GPT 指令，hand-object 误差 6 cm。
• PaliGemma-2 + 因果扩散 Transformer，10 步 DDIM 出 102 维动作。
• 真实 12-DoF 机械手微调 20 K 步，未知对象成功率 +48 %。
• 数据继续翻倍，误差线性下降，尚未见天花板。
• 代码、模型、数据全部开源，pip 一行装完。

FAQ

1. 没有 RTX 4090 能跑吗？
   推理最低 16 GB 显存，A6000/3090 均可；训练建议 8×A100/H100。

2. 视频必须 224×224 吗？
   模型输入固定 224²，但脚本会自动 resize 并保留纵横比，只需原始视频短边 ≥ 224。

3. 左手和右手能同时预测吗？
   支持。action_mask_torch 里把左右掩码同时置 1 即可，语言指令按“Left hand: … Right hand: …”格式。

4. 为什么我用实验室脚本数据反而更差？
   场景单一导致过拟合，VITRA 的“野生”多样性把 unseen 误差降了 38 %。

5. 可以扩展到双臂协作吗？
   已验证“hand-over”任务，只需在指令里同时描述左右手动作；数据流程无需改动。

6. 数据许可证？
   模型与代码 MIT，MANO 权重需遵守原作学术许可，商用请先注册 MANO 官网。

7. 会不会把隐私视频也爬进去？
   本文仅使用公开数据集 Ego4D/Epic/EgoExo4D/SSv2，未额外抓取网络视频；如需自行扩量，请遵守平台条款与地方法规。