evalstone/evalscope/docs/zh/benchmarks/simple_qa.md

SimpleQA

概述

SimpleQA 是由 OpenAI 设计的一个基准测试，用于评估语言模型准确回答简短事实性问题的能力。该基准专注于衡量事实准确性，并为正确、错误和未作答的答案提供了清晰的评分标准。

任务描述

• 任务类型：事实型问答（Factual Question Answering）
• 输入：简短的事实性问题
• 输出：简洁的事实性答案
• 评分标准：CORRECT（正确）、INCORRECT（错误）或 NOT_ATTEMPTED（未作答）

主要特点

• 问题简短、以事实为导向，且答案明确无歧义
• 提供清晰的评分标准用于准确性评估
• 能区分错误回答与主动放弃回答（abstention）
• 使用 LLM-as-judge 进行语义层面的答案比对
• 测试模型的事实知识掌握程度及其校准能力（calibration）

评估说明

• 默认配置采用 0-shot 评估方式
• 使用 LLM 作为裁判进行答案评分（基于语义匹配）
• 采用三分类判断：is_correct（正确）、is_incorrect（错误）、is_not_attempted（未作答）
• 若答案中包含正确信息，即使带有模糊表述（hedging）也可视为正确
• 测试模型在不确定时是否能恰当地承认不确定性

属性

属性	值
基准测试名称	simple_qa
数据集ID	evalscope/SimpleQA
论文	N/A
标签	Knowledge, QA
指标	is_correct, is_incorrect, is_not_attempted
默认示例数量（Shots）	0-shot
评估划分	test

数据统计

指标	值
总样本数	4,326
提示词长度（平均）	118.47 字符
提示词长度（最小/最大）	48 / 403 字符

样例示例

子集：default

{
  "input": [
    {
      "id": "9dd57f4c",
      "content": "Answer the question:\n\nWho received the IEEE Frank Rosenblatt Award in 2010?"
    }
  ],
  "target": "Michio Sugeno",
  "id": 0,
  "group_id": 0,
  "metadata": {
    "topic": "Science and technology",
    "answer_type": "Person",
    "urls": [
      "https://en.wikipedia.org/wiki/IEEE_Frank_Rosenblatt_Award",
      "https://ieeexplore.ieee.org/author/37271220500",
      "https://en.wikipedia.org/wiki/IEEE_Frank_Rosenblatt_Award",
      "https://www.nxtbook.com/nxtbooks/ieee/awards_2010/index.php?startid=21#/p/20"
    ]
  }
}

提示模板

提示模板：

Answer the question:

{question}

使用方法

使用命令行（CLI）

evalscope eval \
    --model YOUR_MODEL \
    --api-url OPENAI_API_COMPAT_URL \
    --api-key EMPTY_TOKEN \
    --datasets simple_qa \
    --limit 10  # 正式评估时请删除此行

使用 Python

from evalscope import run_task
from evalscope.config import TaskConfig

task_cfg = TaskConfig(
    model='YOUR_MODEL',
    api_url='OPENAI_API_COMPAT_URL',
    api_key='EMPTY_TOKEN',
    datasets=['simple_qa'],
    limit=10,  # 正式评估时请删除此行
)

run_task(task_cfg=task_cfg)