evalstone/evalscope/docs/zh/benchmarks/general_mcq.md

General-MCQ

概述

General-MCQ 是一个可自定义的多项选择题问答基准测试，用于评估语言模型。它支持灵活的数据格式和可变数量的答案选项。

任务描述

• 任务类型：多项选择题问答
• 输入：包含 2-10 个答案选项（A 到 J）的问题
• 输出：所选的答案选项
• 灵活性：通过本地文件支持自定义数据集，支持单个或多个正确答案

主要特性

• 灵活的选项数量（A 到 J）
• 通过本地文件加载支持自定义数据集
• 中文单选/多选提示模板（可选思维链 CoT 变体）
• 可配置的少样本（few-shot）示例
• 基于准确率的评估

评估说明

• 默认配置使用 0-shot 评估并采用单选模板
• 设置 extra_params.multiple_correct=True 以评估具有多个正确答案的问题
• 设置 extra_params.use_cot=True 以切换到思维链（chain-of-thought）提示模板
• 主要指标：准确率（Accuracy）
• 训练集划分：dev，评估集划分：val
• 数据集格式详见 用户指南

属性

属性	值
基准测试名称	general_mcq
数据集ID	general_mcq
论文	N/A
标签	Custom, MCQ
指标	acc
默认样本数	0-shot
评估集划分	val
训练集划分	dev

数据统计

统计数据不可用。

样例示例

样例示例不可用。

提示模板

提示模板：

回答下面的单项选择题，请选出其中的正确答案。你的回答的全部内容应该是这样的格式："答案：[LETTER]"（不带引号），其中 [LETTER] 是 {letters} 中的一个。

问题：{question}
选项：
{choices}

额外参数

参数	类型	默认值	描述
multiple_correct	bool	False	数据集中是否包含具有多个正确答案的问题。设为 True 时，将切换到多选提示模板和解析器，并要求 answer 字段为字母列表（例如 ["A", "C"]）。
use_cot	bool	False	是否使用思维链（CoT）提示模板变体。

使用方法

使用 CLI

evalscope eval \
    --model YOUR_MODEL \
    --api-url OPENAI_API_COMPAT_URL \
    --api-key EMPTY_TOKEN \
    --datasets general_mcq \
    --limit 10  # 正式评估时请删除此行

使用 Python

from evalscope import run_task
from evalscope.config import TaskConfig

task_cfg = TaskConfig(
    model='YOUR_MODEL',
    api_url='OPENAI_API_COMPAT_URL',
    api_key='EMPTY_TOKEN',
    datasets=['general_mcq'],
    dataset_args={
        'general_mcq': {
            # extra_params: {}  # 使用默认额外参数
        }
    },
    limit=10,  # 正式评估时请删除此行
)

run_task(task_cfg=task_cfg)