Odyssey：用开放世界技能赋能 Minecraft 智能体

Minecraft 智能体的革命性突破

想象一下：一个 AI 角色在 Minecraft 世界中自主探索、制造钻石剑、与怪物战斗、经营农场… 这不再是科幻场景！浙江大学 VIPA 实验室推出的 「Odyssey 框架」 让这一切成为现实。这个突破性技术为 Minecraft 智能体赋予了真正的开放世界生存能力，今天我将带您全面解析这一前沿成果。

❝

📌 「核心价值」：Odyssey 解决了现有 Minecraft 智能体只能完成基础任务的局限（如收集材料），通过三大创新实现了真正的开放世界交互能力

❞

技术架构全景图

三大核心技术支柱

「开放世界技能库」
- 40 种基础技能（采矿/建造等）
- 183 种组合技能（如“制造武器→战斗”）
- 示例技能链：收集木材→制作工作台→制造木镐→采集石头→制作石剑
「专业 Minecraft 知识引擎」
- 基于 LLaMA-3 微调的专业模型
- 训练数据：390,000+ 条 Minecraft Wiki 问答
- 可解答如“如何在下界找到堡垒遗迹？”等复杂问题

「三维能力评测体系」

任务类型	测试重点	示例挑战
长时规划	多阶段目标管理	从零开始挖到钻石
动态规划	即时反应能力	同时应对多个怪物
自主探索	环境认知能力	发现未知区域资源

实际效果演示

从零开始挖钻石

武器制作与战斗

农场经营

快速上手指南

环境搭建四步法

# 1. 安装Python依赖
cd Odyssey
pip install -e .
pip install -r requirements.txt

# 2. 配置Node.js环境
npm install -g yarn
cd Odyssey/odyssey/env/mineflayer
yarn install

# 3. 部署Minecraft服务器（推荐Docker方案）
# 详见官方文档：/Odyssey/docs/run_using_docker.md

# 4. 下载嵌入模型
git lfs install
git clone https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2.git

配置文件模板

创建 config.json 包含以下关键参数：

{
  "server_host": "LLaMa服务IP",
  "server_port": "LLaMa服务端口",
  "NODE_SERVER_PORT": "Node服务端口",
  "SENTENT_EMBEDDING_DIR": "嵌入模型路径",
  "MC_SERVER_HOST": "Minecraft服务器IP",
  "MC_SERVER_PORT": "Minecraft服务器端口"
}

四大任务实战

1. 子目标串联任务

def test_subgoal():
    odyssey = Odyssey(environment='subgoal')
    test_sub_goals = ["制作工作台", "制作木镐", "制作石镐", "制作铁镐", "挖掘钻石"]
    odyssey.inference_sub_goal(sub_goals=test_sub_goals)

2. 长时规划（战斗）

def test_combat():
    odyssey = Odyssey(environment='combat')
    combat_tasks = ["1只末影人", "3只僵尸", "1僵尸+1骷髅"]
    for task in combat_tasks:
        odyssey.inference(task=task)

3. 动态规划（农业）

def test_farming():
    odyssey = Odyssey(environment='farming')
    farming_tasks = [
        "剪1只羊获取羊毛",
        "收集1桶牛奶",
        "烹饪1块肉",
        "收集并种植1颗种子"
    ]
    for task in farming_tasks:
        odyssey.learn(goals=task)

4. 自主探索

def explore():
    odyssey = Odyssey(environment='explore')
    odyssey.learn()  # 完全自主探索模式

技术演进图谱

里程碑	日期	突破性进展
项目开源	2024年6月13日	首次发布GitHub仓库
论文公开	2024年7月23日	发布技术原理文档
技能库开源	2024年8月14日	开放183种组合技能
爬虫工具开源	2024年9月1日	发布Wiki数据采集工具
多智能体框架	2025年2月23日	支持多AI协作
IJCAI 2025入选	2025年4月29日	获顶级会议认可

学术影响力

「25项相关研究」 推动领域发展：

MineRL (IJCAI 2019) – 首个大规模数据集
Voyager (arXiv 2023) – 开放探索先驱
JARVIS-1 (arXiv 2023) – 多任务处理突破
VillagerAgent (ACL 2024) – 多智能体协作
GROOT-2 (arXiv 2024) – 弱监督学习方案

❝

💡 提示：完整文献列表见项目GitHub的Related Works章节

❞

资源获取方式

所有组件均开源：

「代码库」：GitHub链接 (MIT许可)
「数据集」：HuggingFace链接 (CC BY-NC-SA 3.0)
「模型权重」：包含在代码库中

常见问题解答

Q：需要什么硬件配置？

「A」：建议配置：

GPU：≥12GB显存（运行LLaMA-3 8B模型）
RAM：≥32GB
存储：≥50GB（含Minecraft服务端）

Q：能自定义新技能吗？

「A」：支持！通过修改 skill_library 目录中的JSON文件：

{
  "技能名称": "驯服狼",
  "前置条件": ["生肉", "骨头"],
  "操作序列": ["找到狼群", "手持骨头", "右键点击狼"]
}

Q：与Voyager框架的主要区别？

「A」：核心差异在三点：

Odyssey的技能库规模扩大3倍
专用Minecraft知识模型（非通用LLM）
动态环境应对能力（如突然出现的怪物）

结语与展望

Odyssey 代表了 Minecraft 智能体研究的重大突破：首次实现了在复杂开放世界中的长期生存能力。团队将持续优化：

技能库扩展至300+动作
多智能体协作生态
真实物理环境迁移

❝

项目作者：刘顺宇、李耀如等（浙江大学VIPA实验室）
论文引用：
@inproceedings{liu2025odyssey,
  title={Odyssey: Empowering Minecraft Agents with Open-World Skills},
  author={Shunyu Liu et al.},
  booktitle={IJCAI},
  year={2025}
}
❞

Odyssey框架引爆Minecraft智能体革命：开放世界技能如何让AI自主生存？