evalstone/evalscope/docs/zh/benchmarks/slake.md

SLAKE

概述

SLAKE 是一个双语（英语 / 中文）放射学视觉问答基准数据集，由医生基于 CT、MRI 和 X 光图像构建而成。问题既涵盖影像的纯视觉属性，也包含需要结合医学知识才能回答的内容。

任务描述

• 任务类型：医学视觉问答（自由形式的简短答案）
• 输入：一张放射学图像以及一条英文或中文问题
• 输出：单个单词或短语，语言需与问题一致
• 领域：放射学（胸部、腹部、脑部、盆腔、颈部）

主要特点

• 包含 180 张图像上的 2,094 个测试问题，英语（1,061）和中文（1,033）大致均衡
• 每个问题均标注为 OPEN（自由作答）或 CLOSED（答案来自小型封闭集合，多为是/否类问题），此分类方式与原始论文一致
• 问题涵盖十种语义类型：器官、位置、异常、知识图谱、模态、大小、层面、数量、颜色和形状
• 知识图谱类问题（base_type=kvqa）涉及病因、症状、治疗和功能等无法直接从图像中读取的信息

评估说明

• 主要指标：通过归一化精确匹配（normalized exact match）计算准确率，并与唯一参考答案对比
• 结果按四个子集报告：<language>_<open|closed>，分为英语和中文两类；总体得分为样本加权平均值
• 归一化遵循官方答案预处理规则（转小写、去除标点和冠词、将文字数字转换为阿拉伯数字、统一 x ray 为 xray），并额外加入生成式问答所需处理：
  • 英语中 yes/no 的同义词统一归为一个标签
  • 中文中表达相同极性的 是的 / 有 / 包含 / 可以 或 不是 / 没有 / 不包含 / 不可以 也统一归为一个标签
  • 中文中的 X光 / X射线 和 两个 / 二 统一映射为英文的 X-Ray 和对应数字形式
• 答案从提示中要求的 ANSWER: 行读取；若模型未输出该行，则对整个回复进行归一化处理，因此仅复述问题的回复得分为 0
• 精确匹配设计上较为严格，与原始分类式评估一致：例如参考答案为 Lung, Spinal Cord、知识图谱中的治疗列表，或 T2 被回答为 T2-weighted 时，仅当模型完全复现参考措辞才算正确，因此知识图谱类开放问题的准确率预期较低
• 严格性也会导致仅在措辞或粒度上与参考答案不同的回答被判错（如 Right 回答为 Right Side，胸腔 回答为 胸部，或多答案参考中只答对其中一项）。设置 judge.strategy='llm_recall' 可让大语言模型（LLM）重新审核仅因规则判断失败的情况；该分数比已发表结果更宽松，不可直接比较
• 图像以单个 imgs.zip 文件形式提供（约 200 MB），直接从压缩包中读取
• 论文 | 项目主页

属性

属性	值
基准测试名称	slake
数据集ID	evalscope/SLAKE
论文	Paper
标签	Medical, MultiModal, QA
指标	accuracy
默认示例数	0-shot
评估分割	test

数据统计

指标	值
总样本数	2,094
提示词长度（平均）	130.2 字符
提示词长度（最小/最大）	60 / 257 字符

各子集统计信息：

子集	样本数	提示平均长度	提示最小长度	提示最大长度
en_open	645	195.09	168	257
en_closed	416	187.99	162	253
zh_open	613	67.07	61	79
zh_closed	420	65.44	60	82

图像统计信息：

指标	值
总图像数	2,094
每样本图像数	最小: 1, 最大: 1, 平均: 1
分辨率范围	240x240 - 1024x1024
格式	jpeg

样例示例

子集: en_open

{
  "input": [
    {
      "id": "4366e0b3",
      "content": [
        {
          "image": "[BASE64_IMAGE: jpeg, ~63.2KB]"
        },
        {
          "text": "What modality is used to take this image?\nAnswer the question with a single word or phrase in English.\nThe last line of your response must be of the form \"ANSWER: <answer>\" (without quotes)."
        }
      ]
    }
  ],
  "target": "CT",
  "id": 0,
  "group_id": 0,
  "subset_key": "en_open",
  "metadata": {
    "qid": 11934,
    "img_name": "xmlab102/source.jpg",
    "answer_type": "OPEN",
    "content_type": "Modality",
    "modality": "CT"
  }
}

提示模板

未定义提示模板。

使用方法

使用 CLI

evalscope eval \
    --model YOUR_MODEL \
    --api-url OPENAI_API_COMPAT_URL \
    --api-key EMPTY_TOKEN \
    --datasets slake \
    --limit 10  # 正式评估时请删除此行

使用 Python

from evalscope import run_task
from evalscope.config import TaskConfig

task_cfg = TaskConfig(
    model='YOUR_MODEL',
    api_url='OPENAI_API_COMPAT_URL',
    api_key='EMPTY_TOKEN',
    datasets=['slake'],
    dataset_args={
        'slake': {
            # subset_list: ['en_open', 'en_closed', 'zh_open']  # 可选，用于评估特定子集
        }
    },
    limit=10,  # 正式评估时请删除此行
)

run_task(task_cfg=task_cfg)