阿里通义实验室发布WebAgent：突破网页信息检索的AI智能体技术

本文完整解析阿里通义实验室最新开源的WebAgent技术体系，包含WebSailor、WebDancer和WebWalker三大核心组件，帮助您理解如何实现超人类水平的网页信息检索能力。

一、WebAgent技术全景图

1.1 技术体系三大支柱

• WebSailor：专注超复杂推理的网页智能体（论文）
• WebDancer：自主信息检索智能体（论文）
• WebWalker：网页遍历基准测试（论文）

1.2 最新里程碑

2025.07.03 : 发布WebSailor，开源SOTA浏览模型
2025.06.23 : 开源WebDancer模型及交互演示
2025.05.29 : 推出WebDancer自主检索架构
2025.05.15 : WebWalker被ACL 2025主会议收录
2025.01.14 : 发布WebWalker基准测试框架

二、WebSailor：超人类推理导航器

2.1 技术突破点

• SailorFog-QA数据集：高不确定性QA基准

  • 通过图采样和信息模糊化合成
  • 样本路径：WebSailor/dataset/sailorfog-QA.jsonl
• 双阶段训练法：

  1. RFT冷启动阶段
  2. DUPO强化学习优化（复制采样策略）
• 性能表现：

  测试集	得分
  BrowseComp-en	12.0%
  BrowseComp-zh	30.1%
  GAIA	55.4%

2.2 实际应用演示

三、WebDancer：自主信息检索智能体

3.1 四阶段训练框架

1. 浏览数据构建：创建结构化网页交互数据
2. 轨迹采样：记录任务执行路径
3. 监督微调：冷启动阶段知识注入
4. 强化学习：DAPO算法提升泛化能力

3.2 性能基准

- GAIA Pass@3: 64.1%
- WebWalkerQA: 62.0%

3.3 快速启动指南

环境配置

conda create -n webdancer python=3.12
pip install -r requirements.txt

模型部署

1. 从HuggingFace下载模型
2. 使用sglang部署：

cd scripts
bash deploy_model.sh /your/WebDancer_PATH

运行演示

1. 配置API密钥：

   # 编辑run_demo.sh
   GOOGLE_SEARCH_KEY="your_serpapi_key"
   JINA_API_KEY="your_jina_key"
   DASHSCOPE_API_KEY="your_dashscope_key"
   

2. 启动Gradio界面：

   cd scripts
   bash run_demo.sh
   

四、WebWalker：网页遍历基准测试

4.1 核心价值

• 首个专注网页遍历的LLM评估框架
• 多智能体协同信息检索架构
• 提供量化评估标准

4.2 数据资源

• 数据集地址：WebWalkerQA

五、技术成果对比展示

六、实际应用场景演示

6.1 WebDancer执行WebWalkerQA任务

6.2 WebSailor中文环境表现

七、常见技术问答

Q1：WebSailor和WebDancer的核心区别是什么？

A：WebSailor专注超复杂推理任务解决能力，而WebDancer侧重自主信息检索的智能体构建，两者训练方法和目标场景不同。

Q2：本地部署需要什么硬件配置？

A：WebDancer-32B建议使用：

• GPU：至少2×A100(80G)
• RAM：128GB以上
• 存储：200GB可用空间

Q3：是否支持中文网页环境？

A：是的，BrowseComp-zh测试集显示WebSailor中文任务处理能力达30.1%，优于多数开源方案。

Q4：如何获取持续更新？

1. GitHub仓库：https://github.com/Alibaba-NLP/WebAgent
2. HuggingFace模型库：
   - WebSailor：https://huggingface.co/Alibaba-NLP/WebSailor 
   - WebDancer：https://huggingface.co/Alibaba-NLP/WebDancer-32B

八、开源许可与引用

8.1 使用许可

项目采用LICENSE协议开源，允许研究用途的修改和分发。

8.2 学术引用

@misc{li2025websailor,
  title={WebSailor: Navigating Super-human Reasoning for Web Agent},
  author={Li, Kuan et al.},
  year={2025},
  eprint={2507.02592},
  primaryClass={cs.CL}
}

九、加入我们

通义实验室持续招募研究实习生（杭州/北京/上海）：

• 研究方向：网页智能体、搜索代理、多智能体强化学习
• 联系方式：yongjiang.jy@alibaba-inc.com