3.7 KiB
3.7 KiB
RealWorldQA
概述
RealWorldQA 是由 XAI 贡献的一项基准测试，旨在评估多模态 AI 模型对现实世界空间和物理环境的理解能力。该基准使用日常场景中的真实图像来测试模型的实际视觉理解能力。
任务描述
- 任务类型：现实世界视觉问答（Real-World Visual Question Answering）
- 输入：包含空间/物理问题的真实世界图像
- 输出：关于场景的可验证答案
- 领域：物理环境、驾驶场景、日常生活场景
主要特点
- 包含 700 多张来自现实场景的图像
- 包含车载摄像头拍摄的图像（驾驶场景）
- 问题具有可验证的标准答案
- 测试空间理解与物理推理能力
- 评估 AI 在实际应用中的理解能力
评估说明
- 默认配置采用 0-shot 评估方式
- 答案需遵循 "ANSWER: [ANSWER]" 格式
- 使用逐步推理提示（step-by-step reasoning prompting）
- 采用简单准确率（accuracy）作为评估指标
- 在实际、现实世界的场景中测试模型能力
属性
| 属性 | 值 |
|---|---|
| 基准测试名称 | real_world_qa |
| 数据集 ID | lmms-lab/RealWorldQA |
| 论文 | N/A |
| 标签 | Knowledge, MultiModal, QA |
| 指标 | acc |
| 默认样本数 | 0-shot |
| 评估划分 | test |
数据统计
| 指标 | 值 |
|---|---|
| 总样本数 | 765 |
| 提示词长度（平均） | 554.79 字符 |
| 提示词长度（最小/最大） | 459 / 904 字符 |
图像统计信息：
| 指标 | 值 |
|---|---|
| 图像总数 | 765 |
| 每样本图像数 | 最小: 1, 最大: 1, 平均: 1 |
| 分辨率范围 | 626x418 - 1536x1405 |
| 格式 | webp |
样例示例
子集: default
{
"input": [
{
"id": "6492d8ea",
"content": [
{
"text": "Read the picture and solve the following problem step by step.The last line of your response should be of the form \"ANSWER: [ANSWER]\" (without quotes) where [ANSWER] is the answer to the problem.\n\nIn which direction is the front wheel of the ... [TRUNCATED] ... e letter of the correct option and nothing else.\n\nRemember to put your answer on its own line at the end in the form \"ANSWER: [ANSWER]\" (without quotes) where [ANSWER] is the answer to the problem, and you do not need to use a \\boxed command."
},
{
"image": "[BASE64_IMAGE: webp, ~810.4KB]"
}
]
}
],
"target": "C",
"id": 0,
"group_id": 0,
"metadata": {
"image_path": "0.webp"
}
}
注：部分内容因展示需要已被截断。
提示模板
提示模板：
Read the picture and solve the following problem step by step.The last line of your response should be of the form "ANSWER: [ANSWER]" (without quotes) where [ANSWER] is the answer to the problem.
{question}
Remember to put your answer on its own line at the end in the form "ANSWER: [ANSWER]" (without quotes) where [ANSWER] is the answer to the problem, and you do not need to use a \boxed command.
使用方法
使用命令行（CLI）
evalscope eval \
--model YOUR_MODEL \
--api-url OPENAI_API_COMPAT_URL \
--api-key EMPTY_TOKEN \
--datasets real_world_qa \
--limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task
from evalscope.config import TaskConfig
task_cfg = TaskConfig(
model='YOUR_MODEL',
api_url='OPENAI_API_COMPAT_URL',
api_key='EMPTY_TOKEN',
datasets=['real_world_qa'],
limit=10, # 正式评估时请删除此行
)
run_task(task_cfg=task_cfg)