evalstone/evalscope/docs/zh/benchmarks/hipho.md

HiPhO

概述

HiPhO 是首个专注于高中物理奥林匹克竞赛并采用人类对齐评估的基准测试。它汇集了 13 场近期（2024–2025 年）的国际及区域性奥赛试题，涵盖多种模态，包括纯文本题目和基于图表的题目。

任务描述

• 任务类型：自由形式的物理问题求解，依据官方评分标准进行评分
• 输入：一道物理题（包含常数表、上下文和问题），可选附带图表
• 输出：逐步推导的解答，最终答案用 <answer>...</answer> 包裹并以 \boxed{} 标注
• 模态：纯文本，以及文本+图表（示意图 / 变量图 / 数据图）

主要特性

• 共计 403 道题目，来自 14 套试卷（IPhO、APhO、EuPhO、NBPhO、PanPhO、PanMechanics、CPhO、F=MA），每套试卷作为一个独立子集。
• 英文试卷使用英文提示，中文试卷（CPhO、PanMechanics）使用中文提示，遵循官方语言对应关系。
• 复现论文中的两种评分机制，按题目分别应用：
  • 步骤级评分：适用于提供官方评分标准的题目，LLM 评委会对每个评分项打分，并将得分累加。
  • 答案级评分：适用于无评分标准的题目，通过基于规则的数学检查匹配 \boxed{} 中的最终答案；若规则检查失败，则由 LLM 评委会作为后备方案。

评估说明

• 需要 LLM 评委会：设置 judge.strategy='llm'（或 'auto'，该选项会为此基准自动启用评委会），并提供 judge.models。不支持 judge.strategy='rule'。
• 主要指标：accuracy，即每道题得分与满分之比（范围 [0, 1]），按子集取平均值聚合。
  • 对于步骤级题目，满分为各评分项分数之和；
  • 对于拥有多个官方评分方案的题目（如 EuPhO、NBPhO），采用得分最高的方案，与论文一致。
• 本基准报告的是每场考试的标准化得分，不计算论文中金/银/铜牌的分数线，后者需要原始总分和官方截断值。
• 解答可能很长，且图表题需要视觉输入；请为被测模型设置较大的 generation_config.max_tokens。若解答在 <answer> 块前被截断，则无法提取最终答案，导致得分接近零，这与模型的物理能力无关。
• 图表以内联 base64 形式发送，最大约 1.5 MB；若所用模型对单图有更小的限制，请在 dataset_args 中设置 max_image_bytes。
• 资源链接：论文 | GitHub | 排行榜

属性

属性	值
基准测试名称	hipho
数据集ID	evalscope/HiPhO
论文	Paper
标签	Math, MultiModal, QA, Reasoning
指标	accuracy
默认示例数	0-shot
评估分割	test

数据统计

指标	值
总样本数	403
提示词长度（平均）	3020.35 字符
提示词长度（最小/最大）	653 / 9336 字符

各子集统计：

子集	样本数	提示平均长度	提示最小长度	提示最大长度
APhO_2025	45	4624.02	2496	8787
CPhO_2025	43	2041.81	960	3745
EuPhO_2024	7	1924.29	1468	2051
EuPhO_2025	6	1646.33	1422	1856
F=MA_2024	25	1598.76	1279	1957
F=MA_2025	25	1721.2	1395	2513
IPhO_2024	37	4152.57	2201	6701
IPhO_2025	39	6359.74	3362	9336
NBPhO_2024	24	2305.25	1317	4486
NBPhO_2025	20	2677.7	1359	4808
PanMechanics_2024	29	878.55	653	1283
PanMechanics_2025	23	874.87	667	1150
PanPhO_2024	33	2820.55	1448	3880
PanPhO_2025	47	3526.47	1561	6209

图像统计：

指标	值
图像总数	413
每样本图像数	最小: 1, 最大: 5, 平均: 1.5
分辨率范围	456x60 - 3200x1645
格式	png

样例示例

子集: APhO_2025

{
  "input": [
    {
      "id": "41868500",
      "content": [
        {
          "text": "You are participating in a high school physics Olympiad exam.\nPlease read the following question carefully and provide a clear, step-by-step solution with full reasoning.\nInstructions:\n1. Use LaTeX to format all variables, equations, and calc ... [TRUNCATED 3334 chars] ... gamma} R^{\\delta}$ \nwhere $G$ is the gravitational constant, and $\\beta, \\gamma$ and $\\delta$ are constant exponents.\nQuestion (Answer only the question stated below):\nFind the values of exponents: (1) $\\beta$, (2) $\\gamma$, and (3) $\\delta$."
        },
        {
          "image": "[BASE64_IMAGE: png, ~101.8KB]"
        }
      ]
    }
  ],
  "target": "",
  "id": 0,
  "group_id": 0,
  "subset_key": "APhO_2025",
  "metadata": {
    "id": "APhO_2025_1_A_1",
    "source": "APhO_2025",
    "question": "Find the values of exponents: (1) $\\beta$, (2) $\\gamma$, and (3) $\\delta$.",
    "answers": [
      "\\boxed{$\\beta = 2$}",
      "\\boxed{$\\gamma = -1$}",
      "\\boxed{$\\delta = 4$}"
    ],
    "marking": [
      [
        "Award 0.2 pt if the answer correctly expresses the dimension of $G$ as $[G] = L^3 M^{-1} T^{-2}$, where $L$ is the base dimensions length, $M$ is mass, and $T$ is time. Otherwise, award 0 pt.",
        "Award 0.1 pt if the answer correctly sets up the exponent equation $0 = 2 - \\beta$. Otherwise, award 0 pt.",
        "Award 0.1 pt if the answer correctly sets up the exponent equation $0 = \\gamma + 1$. Otherwise, award 0 pt.",
        "Award 0.1 pt if the answer correctly sets up the exponent equation $1 = \\delta - 3$. Otherwise, award 0 pt.",
        "Award 0.1 pt if the answer obtains the correct value $\\beta = 2$. Otherwise, award 0 pt.",
        "Award 0.1 pt if the answer obtains the correct value $\\gamma = -1$. Otherwise, award 0 pt.",
        "Award 0.1 pt if the answer obtains the correct value $\\delta = 4$. Otherwise, award 0 pt."
      ]
    ]
  }
}

注：部分内容为显示目的已截断。

提示模板

未定义提示模板。

使用方法

使用 CLI

evalscope eval \
    --model YOUR_MODEL \
    --api-url OPENAI_API_COMPAT_URL \
    --api-key EMPTY_TOKEN \
    --datasets hipho \
    --limit 10  # 正式评估时请删除此行

使用 Python

from evalscope import run_task
from evalscope.config import TaskConfig

task_cfg = TaskConfig(
    model='YOUR_MODEL',
    api_url='OPENAI_API_COMPAT_URL',
    api_key='EMPTY_TOKEN',
    datasets=['hipho'],
    dataset_args={
        'hipho': {
            # subset_list: ['APhO_2025', 'CPhO_2025', 'EuPhO_2024']  # 可选，用于评估特定子集
        }
    },
    limit=10,  # 正式评估时请删除此行
)

run_task(task_cfg=task_cfg)