MiniMax-Vendor-Verifier

概述

MiniMax-Vendor-Verifier 是一个用于验证 MiniMax M2 / M2.5 / M2.7 供应商部署正确性的多验证器基准测试。每条提示行可携带一个可选的 check_type 标签，用于路由到特定的验证器；此外还始终启用 error_only_reasoning 检测器，以捕获最常见的部署回归问题。本基准测试改编自 MiniMax-Provider-Verifier。

任务描述

任务类型：供应商部署正确性检查（多维度）
输入：多轮对话消息（可选工具定义）以及每行的路由标签（check_type、expected_tool_call）
输出：供应商的聊天补全响应，并根据该行所选的验证器进行评分
分发逻辑：未指定 check_type 的行默认使用 tool_calls 验证器；指定了 check_type 的行仅运行所列的验证器

核心特性

移植了五个上游验证器作为纯函数：
- tool_calls — 对参数进行 JSON Schema 验证，并检查数组命令的合理性，同时基于 expected_tool_call 生成混淆矩阵
- error_only_reasoning（始终启用）— 标记包含推理但无内容且无工具调用的响应（一种部署回归问题）
- contains_russian_characters_unicode — 语言遵循性检查；当响应中出现西里尔字符时判定为失败
- repeat_n_gram — 退化重复检测器（任意 3-gram 出现 4 次或以上即视为失败）
- scenario_check — 验证模型是否保留声明的 JSON 属性顺序，用于发现会重新排序 parameters.properties 的供应商
报告中每个验证器的分母：num=0 表示该子集中没有行触发此验证器（并非失败）
托管数据集保留了上游的 sample.jsonl 文件，以及 M2.5 / M2.7 的每轮基线追踪数据

评估说明

默认配置使用 0-shot 评估；default 子集包含 102 行
评估指标：tool_calls_match_rate、schema_accuracy、error_only_reasoning_rate、language_following_success_rate、repeat_ngram_pass_rate、scenario_check_pass_rate
根据上游指导，正确部署的供应商应达到：tool_calls_match_rate ≈ 0.98、schema_accuracy ≥ 0.98、error_only_reasoning_rate = 0 以及 scenario_check_pass_rate = 1.0
使用 --limit 时，较稀有的 check_type 行（scenario / repeat / language）可能不会全部被采样；请检查各验证器对应的 num 列

属性

属性	值
基准测试名称	`minimax_verifier`
数据集ID	evalscope/MiniMaxVendorVerifier
论文	N/A
标签	`Agent`, `FunctionCalling`
指标	`tool_calls_match_rate`, `schema_accuracy`, `error_only_reasoning_rate`, `language_following_success_rate`, `repeat_ngram_pass_rate`, `scenario_check_pass_rate`
默认 Shots	0-shot
评估分割	`test`

数据统计

指标	值
总样本数	102
提示词长度（平均）	72251.38 字符
提示词长度（最小/最大）	16 / 341252 字符

样例示例

子集: default

{
  "input": [
    {
      "id": "6cc50a79",
      "content": "日本ではどのような時にお年玉を渡しますか？",
      "role": "user"
    }
  ],
  "target": "",
  "id": 0,
  "group_id": 0,
  "tools": [],
  "metadata": {
    "check_type": [
      "contains_russian_characters_unicode"
    ],
    "expected_tool_call": null,
    "tools_raw": []
  }
}

提示模板

未定义提示模板。

使用方法

使用 CLI

evalscope eval \
    --model YOUR_MODEL \
    --api-url OPENAI_API_COMPAT_URL \
    --api-key EMPTY_TOKEN \
    --datasets minimax_verifier \
    --limit 10  # 正式评估时请删除此行

使用 Python

from evalscope import run_task
from evalscope.config import TaskConfig

task_cfg = TaskConfig(
    model='YOUR_MODEL',
    api_url='OPENAI_API_COMPAT_URL',
    api_key='EMPTY_TOKEN',
    datasets=['minimax_verifier'],
    limit=10,  # 正式评估时请删除此行
)

run_task(task_cfg=task_cfg)

4.2 KiB Raw Blame History Unescape Escape