CausalVQA：视频问答领域的新基准数据集

在人工智能不断发展的今天，视频问答（VQA）作为一个重要的研究方向，受到了广泛的关注。然而，现有的 VQA 基准数据集存在着一些局限性，要么侧重于对现实世界视频的表面感知理解，要么局限于使用模拟环境创建的狭窄物理推理问题。为了填补这一空白，CausalVQA 基准数据集应运而生。

一、CausalVQA 简介

CausalVQA 是一个用于视频问答的基准数据集，由一系列问题 – 答案对组成，旨在测试模型对现实世界中因果关系的理解能力。该数据集提出了具有挑战性的问题，这些问题基于现实世界场景，聚焦于模型通过五种问题类型（反事实、假设、预测、规划和描述性）来预测不同行动和事件可能结果的能力。

（一）设计初衷

现有的 VQA 基准数据集存在不足，不能很好地测试模型在现实世界场景中的因果推理能力。CausalVQA 的设计就是为了弥补这一缺陷，它要求模型基于深入的视觉理解而不是语言线索来回答问题，从而更准确地评估模型的实际能力。

（二）意义和价值

CausalVQA 的出现为视频问答领域的研究提供了一个更具挑战性和现实意义的基准。通过这个数据集，研究人员可以更全面地评估模型在因果推理方面的表现，发现模型的不足之处，进而推动模型的改进和发展。同时，它也为物理世界模型的评估提供了一个重要的工具，有助于促进相关领域的研究和创新。

二、CausalVQA 数据集特点

（一）问题类型丰富

CausalVQA 的问题分为五种类型，每种类型都有其独特的特点和作用。

  1. 反事实问题
    反事实问题通常假设某个事件没有发生，然后询问会产生什么样的结果。例如，如果在某个视频场景中，一个球没有被推动，那么后续的情况会是怎样的？这类问题可以测试模型对因果关系的逆向推理能力，即从结果反推原因，并预测不同原因可能导致的不同结果。

  2. 假设问题
    假设问题是基于某种假设的情况，询问模型在这种情况下会发生什么。比如，假设在一个场景中突然出现了一个新的物体，那么场景中的其他元素会有怎样的反应？假设问题能够考验模型的想象力和对不同情况的预测能力，要求模型能够根据给定的假设条件，合理地推断出可能的结果。

  3. 预测问题
    预测问题是让模型根据当前的视频场景，预测未来可能发生的事件。例如，在一个展示球滚动的视频中，预测球在下一时刻的位置或运动轨迹。预测问题需要模型具备对时间和空间的理解能力，以及对物理原理的运用能力，能够根据当前的状态推断出未来的发展趋势。

  4. 规划问题
    规划问题要求模型根据目标和当前的视频场景，制定出合理的行动计划。比如，在一个有障碍物的场景中，如何让一个物体到达指定的位置？规划问题需要模型综合考虑各种因素，如物体的属性、环境的限制等，制定出可行的解决方案，这对模型的逻辑推理和决策能力提出了较高的要求。

  5. 描述性问题
    描述性问题主要是让模型对视频中的场景、物体或事件进行描述。例如，描述视频中某个物体的外观、颜色、运动状态等。描述性问题可以测试模型的视觉感知和语言表达能力，要求模型能够准确地观察视频内容，并将其用清晰、准确的语言描述出来。

（二）质量控制机制

为了确保模型能够真正基于深入的视觉理解来回答问题，CausalVQA 设计了质量控制机制，防止模型利用简单的捷径来获取答案。这些机制使得模型不能仅仅依靠语言线索来回答问题，而是必须对视频内容进行深入分析和理解，从而提高了评估的准确性和可靠性。

（三）与人类表现对比

通过对当前前沿的多模态模型在 CausalVQA 基准上的测试发现，这些模型的表现远低于人类水平，尤其是在预测和假设问题上。这表明当前的系统在利用时空推理、物理原理理解和对可能替代方案的理解方面存在挑战，难以在现实世界环境中做出准确的预测。这一发现也为未来的研究指明了方向，即需要进一步提高模型的因果推理能力和对现实世界的理解能力。

三、CausalVQA 相关资源和使用方法

（一）相关链接

CausalVQA 提供了丰富的相关资源，方便研究人员进行进一步的了解和研究。

  1. 论文链接：https://ai.meta.com/research/publications/causalvqa-a-physically-grounded-causal-reasoning-benchmark-for-video-models
    通过这个链接，研究人员可以获取关于 CausalVQA 的详细研究论文，了解数据集的设计原理、构建方法、实验结果等内容。

  2. 博客链接：https://ai.meta.com/blog/v-jepa-2-world-model-benchmarks
    博客链接提供了关于 CausalVQA 的一些最新动态和相关介绍，有助于研究人员及时了解该领域的最新进展。

  3. 排行榜链接：https://huggingface.co/spaces/facebook/pwm_leaderboard
    排行榜展示了不同模型在 CausalVQA 基准上的表现，研究人员可以通过排行榜了解当前模型的性能水平，比较不同模型之间的优劣，为自己的研究提供参考。

（二）数据集下载和使用步骤

要使用 CausalVQA 数据集，需要按照以下步骤进行操作。

1. 签署 Ego4D 许可证

首先，需要访问 https://ego4ddataset.com/egoexo-license/ 签署 Ego4D 许可证。在签署过程中，需要接受许可证协议的条款，并等待最多 48 小时的审批时间。审批通过后，会通过电子邮件收到一个 ID 和密钥，用于后续使用 AWS S3 CLI 工具。

2. 安装 AWS CLI 工具并配置

从 https://github.com/aws/aws-cli/tree/v2 选择合适的安装方式安装 AWS CLI 工具。安装完成后，在命令行中输入 aws configure，然后按照提示插入之前收到的 ID 和密钥。在这个过程中，不需要输入区域或输出格式。

3. 下载数据集

使用 AWS S3 CLI 工具下载数据集，命令如下：

aws s3 cp s3://ego4d-consortium-sharing/egoexo-public/v2/causal_vqa/CausalVQA.zip <your location>\CausalVQA.zip

其中，<your location> 需要替换为你想要保存数据集的本地路径。

4. 克隆 CausalVQA 仓库

克隆 CausalVQA 仓库到本地，然后将下载的数据集内容复制到仓库目录中。具体操作如下：

# 克隆仓库
git clone <CausalVQA repo url>
cd CausalVQA
mkdir data
cd ..
unzip CausalVQA.zip -d CausalVQA_data
mv CausalVQA_data/CausalVQA/test CausalVQA/data
mv CausalVQA_data/CausalVQA/debug CausalVQA/data

经过这些操作后，目录结构应该如下所示：

CausalVQA/
├── lmms-eval/
├── models/
├── scripts/
├── tasks/
├── data/
    └── debug/
    └── test/

5. 构建环境和依赖项

CausalVQA 提供了一个 Makefile 来帮助构建环境和依赖项，具体操作如下：

make setup_env
conda activate causalvqa_eval
make setup_vllm
make setup_lmms_eval
make setup_plm
make setup_cleanup
make prep_debug_data

每个命令可能需要一些时间来完成构建和安装，请按照提示进行操作。需要注意的是，指标只会在调试集上生成，测试集提供了视频片段、问题和答案选项，但正确答案被保留。

6. 准备评估

在进行评估之前，需要将任务的副本写入 lmms_eval 并覆盖或添加一些模型。同时，需要将 <add absolute ref> 替换为数据集中正确的绝对路径，否则数据集将无法加载。然后执行以下命令：

make prep_evals

7. 运行评估

CausalVQA 在 Makefile 中提供了评估时使用的参数，不同的模型需要不同的配置。例如，gemini_oai 和 gpt4o 需要 API 密钥和主机位置才能正常工作。可以按照以下命令运行不同的模型评估：

make run_internvl2_5
make run_llava_onevision
make run_qwen2_5vl_vllm
make run_plm
make run_gemini_oai
make run_gpt4o

（三）注释文件内容

每个注释文件包含以下信息：

  1. qid：问题标识符，用于配对问题和答案。
  2. type：问题类型，包括预测、反事实、描述性、规划和假设。
  3. question：问题的文本内容。
  4. choices1：多个选择答案。
  5. correct1：选择答案 1 的正确答案（测试集中该信息被移除）。
  6. choices2：一组经过扰动和重新排序的多个选择答案。
  7. correct2：选择答案 2 的正确答案（测试集中该信息被移除）。
  8. difficulty：根据人类基线确定的问题难度级别。
  9. renamed_video：视频文件的名称。

这些注释文件为研究人员提供了详细的问题信息和答案参考，有助于对模型的评估和分析。

四、CausalVQA 的局限性和未来发展方向

（一）局限性

虽然 CausalVQA 为视频问答领域的研究提供了一个重要的基准，但它也存在一些局限性。

  1. 数据覆盖范围有限：尽管 CausalVQA 基于现实世界场景构建，但它可能无法涵盖所有可能的现实情况。某些特殊的物理现象或复杂的场景可能没有在数据集中得到充分体现，这可能导致模型在处理这些未涵盖的情况时表现不佳。

  2. 对模型能力的评估不够全面：CausalVQA 主要侧重于评估模型的因果推理能力，但在视频问答中，还涉及到其他方面的能力，如语义理解、情感分析等。因此，仅通过 CausalVQA 可能无法全面评估模型的整体性能。

  3. 人类标注的主观性：问题的难度级别是通过人类试验确定的，但人类标注存在一定的主观性。不同的标注者可能对同一问题的难度有不同的看法，这可能会影响问题难度级别的准确性。

（二）未来发展方向

针对 CausalVQA 的局限性，可以从以下几个方面进行改进和发展。

  1. 扩大数据覆盖范围：收集更多样化的视频数据，包括不同场景、不同物理现象的视频，以提高数据集的完整性和代表性。这样可以让模型在更广泛的情况下进行训练和测试，提高其泛化能力。

  2. 综合评估模型能力：除了因果推理能力，还可以将其他相关能力纳入评估指标，如语义理解、情感分析等。通过构建更全面的评估体系，可以更准确地评估模型的整体性能。

  3. 改进标注方法：采用更科学、客观的标注方法，减少人类标注的主观性。例如，可以使用多个标注者进行标注，然后通过统计方法确定问题的难度级别，提高标注的准确性和可靠性。

  4. 与其他领域的结合：将 CausalVQA 与其他领域的研究相结合，如机器人技术、自动驾驶等。通过与实际应用场景的结合，可以更好地发挥 CausalVQA 的作用，推动相关领域的发展。

五、总结

CausalVQA 作为一个新的视频问答基准数据集，为视频问答领域的研究提供了一个重要的工具。它通过丰富的问题类型、严格的质量控制机制和与人类表现的对比，能够更准确地评估模型的因果推理能力。同时，通过详细的数据集下载和使用步骤，为研究人员提供了便利。然而，CausalVQA 也存在一些局限性，需要在未来的研究中不断改进和完善。相信随着技术的不断发展和数据集的不断优化，CausalVQA 将在视频问答领域发挥更大的作用，推动人工智能技术在现实世界中的应用和发展。无论是对于学术研究还是工业应用，CausalVQA 都具有重要的价值和意义，值得研究人员深入探索和应用。