From 9991c158161bc412f7b79a09188129384f52a294 Mon Sep 17 00:00:00 2001 From: sora <2075279110@qq.com> Date: Thu, 10 Sep 2026 07:27:19 +0000 Subject: [PATCH] README rewritten in evalscope style (numbered flow, code-first, 289->190 lines); config entry points: --hf-endpoint flag, ckpt follows cache root, EVALHARNESS_DOCKER_MIRRORS override Co-Authored-By: Claude --- README.md | 298 ++++++++++++------------------------ evalharness/cli.py | 6 + evalharness/model/runner.py | 7 +- 3 files changed, 111 insertions(+), 200 deletions(-) diff --git a/README.md b/README.md index 0e0de5c..7a24bfe 100644 --- a/README.md +++ b/README.md @@ -1,35 +1,30 @@ # EvalHarness -**插件式 LLM / Agent 评测框架。** 28 个主流 benchmark 开箱即用：官方口径的 prompt 模板与判分器、 -任意 OpenAI 兼容推理端点、断点续跑、沙箱化代码执行 —— 每一层都可以用单文件插件扩展。 +插件式 LLM/Agent 评测框架：28 个 benchmark 开箱即用，官方口径 prompt 与判分，任意 OpenAI 兼容端点，断点续跑。 ``` -你只需提供： 一个 OpenAI 兼容端点（vLLM / SGLang / lmdeploy / ollama / 云 API） -框架完成： 拉取数据 → 渲染官方 prompt → 并发生成 → 官方口径判分 → 产出报告 +提供端点 → 拉数据 → 渲染官方 prompt → 并发生成 → 官方判分 → 报告 ``` -## 核心特性 +## 0. Benchmarks -- **28 个内置 benchmark** —— 数学、知识/选择题、问答、长上下文、代码执行、agent 工具调用， - 全部对接官方数据源注册。 -- **官方口径评测** —— prompt 模板、few-shot 范例渲染（含按科目域匹配选范例）、判分器全部复刻 - 官方实现：数学用 PRM800K sympy 等价、DROP 用匈牙利对齐、SimpleQA 用官方 A/B/C judge 协议、 - BFCL 用官方 AST 判定、代码题在 docker 沙箱执行。已在 Qwen3-8B 与 DeepSeek-V4-Flash 上 - 与 evalscope 逐题对齐[验证](#对齐验证)。 -- **任意推理栈** —— 单端点或端点池：轮询分发、自适应并发（AIMD）、坏端点冷却、自动 failover。 -- **可断点、抗抖动** —— 每条预测完成即落盘，中断重跑只补缺失样本；分钟级断网靠分层重试扛过 - 而不丢批次。 -- **换判分器不用重新生成** —— 原始预测是不可变 artifact：改 recipe、换 grader 直接对存量输出 - 重新判分，模型永不被重复调用。 -- **万物皆插件** —— 数据集、prompt 渲染器、抽取器、判分器、聚合器、recipe、模型适配器、沙箱、 - agent 环境，全部 `@register_*` 单文件注册，没有需要修改的中央清单。 -- **评测 agent 而非扮演 agent** —— 被测模型负责思考；框架只把它的 tool_calls 交给 `Environment` - 插件执行并回灌观察，全程记录轨迹。 +| 族 | benchmark | +|---|---| +| 数学 | `gsm8k` `competition_math` `aime24/25/26` `hmmt26` `imo_answerbench` | +| 知识/选择题 | `mmlu` `mmlu_pro` `cmmlu` `gpqa_diamond` `arc` `hellaswag` `winogrande` `bbh` | +| 问答 | `trivia_qa` `drop` `simple_qa` `hle` | +| 长上下文 | `longbench_v2` `openai_mrcr` | +| 代码（Docker 沙箱） | `humaneval` `bigcodebench` `live_code_bench` | +| Agent/工具 | `bfcl_v3` `general_fc` `tau2_bench` `swe_bench_verified` | -## 安装 +```bash +evalharness data list # 28 个数据集：源/子集/few-shot/split +evalharness eval list # 28 个判分 recipe +``` -要求 Python ≥ 3.10，一条命令装完即可跑全部 28 个 benchmark，无任何可选依赖 -（代码执行类需要宿主机有 Docker，镜像判分时自动拉取）。 +## 1. 安装 + +Python ≥ 3.10；代码执行类 benchmark 需宿主机 Docker（镜像判分时自动拉取）。 ```bash git clone https://git.meta-stone.net/sora/EvalHarness.git @@ -39,74 +34,26 @@ conda activate evalharness pip install . ``` -离线验证安装（不需要模型、不联网）： +离线自检（不联网、不接模型，应得 acc 100%）： ```bash evalharness eval run gsm8k --model mock-boxed --limit 8 -# acc 100% —— mock 适配器直接输出金标答案，证明 -# 数据 → prompt → 生成 → 判分 → 报告 全链路可用 ``` +## 2. 运行命令 -## 快速开始 - -### 跑一个 benchmark（CLI） +单端点： ```bash evalharness eval run gsm8k \ --api-url http://localhost:8000/v1 \ --model qwen3-8b \ - --limit 200 --resume + --disable-thinking \ + --limit 200 --resume \ + --out-dir results/run1 ``` -**完整参数表**（`evalharness eval run --help` 的整理版）： - -**模型接入** - -| 参数 | 作用 | -|---|---| -| `--api-url URL` | OpenAI 兼容端点；与 `--model` 搭配使用（不用手拼 spec 字符串） | -| `--model NAME` | 服务端模型名（配合 `--api-url`）；或直接给完整 spec：`openai/http://h:8000/v1?qwen3-8b` | -| `--provider {openai-chat,openai-pool}` | 协议/提供方，默认 `openai-chat`；端点池用 `openai-pool` | -| `--judge-model NAME` + `--judge-api-url URL` | LLM-judge 模型（hle / simple_qa / imo 需要）；也可单给完整 spec `--judge openai/http://...?m` | -| `--api-key KEY` | 显式指定主模型端点的 key（优先于环境变量推断；只进请求头，不写入 spec/报告） | -| `--judge-provider {openai-chat,openai-pool}` | judge 协议；多 judge 端点负载均衡用 `openai-pool` | -| `--judge-api-key KEY` | 显式指定 judge 端点的 key | -| `--profile NAME` | 命名生成参数集（内置 `dp4-nothink`、`qwen3-es-parity`、`t1-short`，或任意 `@register_gen_profile` 名）；优先级：插件默认 < profile 默认 < profile 单 bench 覆盖 < 显式参数 | -| `--disable-thinking` | 发送 `enable_thinking=false`（Qwen3 类思考模型推荐；带 tools 的请求自动退回模板安全的软开关） | -| `--textools` | 工具以文本形式随 prompt 下发，而非原生 tool_calls | -| `--perf` | 采集流式 TTFT / ITL / 重试率，写入报告 `perf` 组 | - -**采样与选样** - -| 参数 | 作用 | -|---|---| -| `--limit N` | 只跑全局前 N 条 | -| `--limit-per-task N` | 每个 subset / 科目取前 N 条（多科目 bench 的语义；可与 `--limit` 组合取交集） | -| `--subset NAME` | 覆盖子集（如 mmlu 的 `anatomy`、bbh 的 `word_sorting`） | -| `--split NAME` | 覆盖 split | -| `--source PATH` | 覆盖数据源（指向本地目录/文件，离线可用） | -| `--cache-dir DIR` | 缓存根目录（默认 `$EVALHARNESS_CACHE` 或 `~/.cache/evalharness`） | - -**运行控制** - -| 参数 | 作用 | -|---|---| -| `--concurrency N` | 并发请求数（默认 32；长输出 bench 建议 8-16） | -| `--resume [PATH]` | 断点续跑（默认路径自动推导；可显式给路径） | -| `--env NAME` | agent 环境（如 `bfcl_mock`）→ 走多轮消息泵 | -| `--progress` / `--no-progress` | Rich 每样本进度条（默认开；重定向日志时建议 `--no-progress`，未装 rich 自动降级纯文本） | - -**输出** - -| 参数 | 作用 | -|---|---| -| `--out FILE` | 单 benchmark 时把 EvalReport JSON 存到此处 | -| `--out-dir DIR` | 多 benchmark 运行落盘：`reports/.json` + `viz/.txt` + `summary.md` | -| `--style {text,md,radar,errors}` | 结果渲染样式 | -| `--verbose` | 多 benchmark 时也打印每个 bench 的完整渲染 | - -端点池跨机器跨端口，自带 failover 与自适应并发： +多端点池（轮询 + 自适应并发 + failover）： ```bash evalharness eval run mmlu \ @@ -115,172 +62,127 @@ evalharness eval run mmlu \ --model qwen3-8b --disable-thinking ``` -### 用 Python 跑 +需要 judge 的 bench（hle / simple_qa / imo）： + +```bash +evalharness eval run hle \ + --api-url http://localhost:8000/v1 --model qwen3-8b --disable-thinking \ + --judge-model dp4-flash \ + --judge-api-url http://judge-host:30000/v1 \ + --limit-per-task 25 +``` + +Agent bench（多轮工具调用）： + +```bash +evalharness eval run bfcl_v3 --api-url http://localhost:8000/v1 --model qwen3-8b \ + --env bfcl_mock +``` + +Python API： ```python import evalharness rep = evalharness.run('gsm8k', 'openai/http://localhost:8000/v1?qwen3-8b', limit=200) -print(rep.metrics['acc']) rep.save('gsm8k.report.json') -# 已在事件循环里（notebook）？用 await 版： -rep = await evalharness.arun('mmlu', '...', subset='anatomy') +# notebook / async 环境用 await evalharness.arun(...) ``` -也可以分阶段自己驱动 —— 数据集是一等公民，判分永远不会重新调模型： +## 3. 参数速查 -```python -from evalharness import get_dataset -from evalharness.eval import evaluate +| 参数 | 作用 | +|---|---| +| `--api-url` `--model` `--provider` | 端点、模型名（纯名字，无需拼 spec）、协议（`openai-chat`/`openai-pool`） | +| `--api-key` | 显式 key（优先于环境变量；只进请求头，不写入 spec/报告） | +| `--disable-thinking` | `enable_thinking=false`（Qwen3 类模型推荐；带 tools 的请求自动退回兼容软开关） | +| `--judge-model` `--judge-api-url` `--judge-api-key` `--judge-provider` | judge 端四件套，语义与主模型对称 | +| `--limit N` / `--limit-per-task N` | 全局前 N / 每子集前 N（多科目 bench 用后者；可组合取交集） | +| `--subset` `--split` `--source` | 覆盖子集 / split / 数据源（可指本地路径离线跑） | +| `--concurrency N` | 并发（默认 32；长输出 bench 建议 8-16） | +| `--resume [PATH]` | 断点续跑；默认 `/ckpt/.jsonl` | +| `--profile NAME` | 命名生成参数集（`dp4-nothink` / `qwen3-es-parity` / `t1-short` 或自定义） | +| `--env NAME` | agent 环境（`bfcl_mock` 等） | +| `--perf` | 采集流式 TTFT / ITL / 重试率入报告 | +| `--hf-endpoint URL` | 数据下载端点（如 `https://hf-mirror.com`，免手动 export） | +| `--cache-dir DIR` | 缓存根（数据缓存 + 断点同根） | +| `--out FILE` / `--out-dir DIR` | 报告落盘；多 bench 时写 `reports/` + `viz/` + `summary.md` | +| `--style text\|md\|md_compare\|excel\|radar\|errors` | 结果渲染样式 | +| `--no-progress` | 关闭 Rich 进度条（重定向日志时用） | -ds = get_dataset('mmlu', subset='anatomy') # 惰性句柄；首次使用才物化 -preds = [json.loads(l)['raw'] for l in open('preds.jsonl')] -rep = evaluate(ds, preds) # recipe 按 bench 名自动解析 -``` +API key 解析顺序：`--api-key` > 按端点域名的环境变量（`api.openai.com`→`OPENAI_API_KEY`、`anthropic.com`→`ANTHROPIC_API_KEY`、`dashscope`→`DASHSCOPE_API_KEY`、`bigmodel`→`ZAI_API_KEY`）> `OPENAI_API_KEY`。自建端点无鉴权可不管。 -### 查看与渲染结果 +## 4. 评测结果 ```bash evalharness viz show gsm8k.report.json # 控制台表格 -evalharness viz show a.json b.json --style md_compare # 多模型对照 +evalharness viz show a.json b.json --style md_compare # 多模型对照（含差值标记） evalharness viz show report.json --style excel # 4-sheet 仪表盘 evalharness viz show report.json --style errors # 失败样本下钻 ``` -每样本结果保留：原始预测、抽取说明、分数明细、token 用量，agent bench 另有完整轨迹。 -`extraction_failure_rate` 作为健康指标上报 —— 抽取失败不会被静默记零分。 +`--out-dir` 自动产出：`reports/.report.json`（每样本原始预测、分数明细、token 用量、agent 轨迹）、`viz/.txt`、`summary.md`（全 bench 一张表）与 `summary.csv`（含 perf 列）。 -## 模型接入 - -任意 OpenAI 兼容端点。模型用一条 spec 字符串描述（或用等价的 `--provider/--api-url/--model` 参数）： - -| spec | 含义 | -|---|---| -| `openai/?` | 单端点（vLLM、SGLang、lmdeploy、ollama、云 API） | -| `openai-pool/?` | 端点池：轮询 + 自适应并发 + failover | -| `deploy:/` | 经 Deployer 解析（钉版本的推理环境） | -| `mock` / `mock-boxed` / `mock-fc` | 离线适配器（管线自检：回声 / 回放金标 / 回放工具调用） | -| `!nothink` `!perf` `!textools` 后缀 | spec 内联开关（与 CLI 参数等价） | - -API key（含 judge）按端点域名自动从环境变量读取：`api.openai.com`→`OPENAI_API_KEY`、 -`anthropic.com`→`ANTHROPIC_API_KEY`、`dashscope`→`DASHSCOPE_API_KEY`、`bigmodel`→`ZAI_API_KEY`； -其余域名回退 `OPENAI_API_KEY`。自建端点无鉴权时无需设置。 -同一服务有多个 key 时用 `--api-key` 显式指定（跑两次各用一个 key 即可对比；key 只进请求头， -不会出现在 spec、报告或日志里）。 - -## 内置 benchmark - -| 族 | benchmark | -|---|---| -| 数学 | `gsm8k`、`competition_math`、`aime24/25/26`、`hmmt26`、`imo_answerbench` | -| 知识 / 选择题 | `mmlu`、`mmlu_pro`、`cmmlu`、`gpqa_diamond`、`arc`、`hellaswag`、`winogrande`、`bbh` | -| 问答 | `trivia_qa`、`drop`、`simple_qa`、`hle` | -| 长上下文 | `longbench_v2`、`openai_mrcr` | -| 代码（沙箱执行） | `humaneval`、`bigcodebench`、`live_code_bench` | -| Agent / 工具 | `bfcl_v3`、`general_fc`、`tau2_bench`、`swe_bench_verified` | +## 5. 缓存与断点 ```bash -evalharness data list # 全部数据集：数据源、子集、默认 few-shot、split -evalharness eval list # 全部判分 recipe +evalharness data fetch gsm8k mmlu --workers 8 # 预取（首次运行也会自动下载） +evalharness data stats cmmlu # 条数/长度/答案分布 +evalharness data show gsm8k -n 2 # 看前 2 条样本 +evalharness data unload gsm8k # 删缓存 ``` -各族注意事项： +- 数据缓存内容寻址（subset/split/source 变更自动新条目），位置 `/datasets/` +- 断点每条预测即写盘；**改了 prompt 模板须删旧断点**（`rm /ckpt/*.jsonl`），否则复用旧预测 +- 网络抖动三层防护：15s 连接超时快速失败 → 池内换端点 → 分钟级退避重试，断网不丢批次 +- 判分与生成解耦：换 recipe / grader 对存量预测直接重判（`evaluate(ds, preds)`），模型不被重复调用 +- Docker 镜像源回退链可用 `EVALHARNESS_DOCKER_MIRRORS` 覆盖（逗号分隔模板，`{img}` 占位） -- **LLM-judge 类**（`hle`、`simple_qa`、`imo_answerbench`）：传 `--judge-model <模型名> --judge-api-url <端点>`（与主模型同款分离参数风格）；judge 走官方协议 - （如 SimpleQA 的分级正确性 + NOT_ATTEMPTED 兜底）。 -- **代码执行类**：模型生成的代码在硬隔离 Docker 中运行（`--network none`、cgroup 上限、只读 rootfs）； - swe 的逐实例 `sweb.eval.*` 镜像用 `evalharness sandbox prefetch swe_bench_verified` 预取。 -- **Agent 类**：`--env bfcl_mock` 驱动多轮消息泵 + 官方 call-sequence 判分；`tau2_bench` / - `swe_bench_verified` 走官方引擎 bundle（自跑环境路径）。 -- **长上下文**：`gen_kwargs={'max_input_tokens': ...}` 做 token 预算中位截断（保头尾），与 evalscope 同构。 -- **小样本高方差集**（aime/hmmt）：`temperature=1.0` 跑多次取均值 —— 用 `evalharness.run` 五行循环。 +## 6. 扩展 -## 可靠性模型 - -- **断点** —— 每条预测完成即追加进当次运行的 checkpoint（`--resume`）。key 含 prompt 语义； - 改了模板要删旧断点（`rm ~/.cache/evalharness/ckpt/*.jsonl`），否则会复用旧预测。 -- **分层重试** —— 连接超时 15 秒快速失败；池内换端点（自适应闸门自动降载、病端点冷却）； - 单样本分钟级退避重试 6 次，路由抖动不会杀死批次。 -- **预测不可变** —— 判分是对存量输出的确定性计算；随便换 grader / recipe。 - -## 扩展 - -**加数据集** —— 单文件丢进 `evalharness/data/datasets/`，自动发现注册： +加数据集（单文件放入 `evalharness/data/datasets/`，自动注册）： ```python -@register_dataset(DatasetSpec( - name='mybench', - source='org/mybench', # HF id / ModelScope id / 本地路径 - split='test', - task_type='mcq', # 决定默认判分 recipe 的大类路由 -)) +@register_dataset(DatasetSpec(name='mybench', source='org/mybench', + split='test', task_type='mcq')) def mybench(): return FieldSpec(input='question', choices='options', target='answer_key') - # 需要清洗/重排时改为返回 record -> Sample 函数 ``` -**绑定判分** —— recipe 是注册原语的声明式组合： +绑定判分（recipe = 注册原语的声明式组合）： ```python @register_eval('mybench') def mybench(): return EvalRecipe( - name='mybench', - extract=['my_answer', 'answer_phrase'], # 级联：首个成功者胜 - scorers={'acc': 'exact'}, # 或 math_equal / em_f1 / execution / env_reward / llm_judge - aggregators={'acc': 'mean'}, # 或 pass_at_k / grouped_avg / binned_avg + extract=['my_answer', 'answer_phrase'], # 级联，首个成功者胜 + scorers={'acc': 'exact'}, # math_equal/em_f1/execution/env_reward/llm_judge + aggregators={'acc': 'mean'}, # pass_at_k/grouped_avg/binned_avg ) ``` -同一模式覆盖全部扩展点 —— `@register_prompt_renderer`（题面如何渲染，含 system 契约）、 -`@register_extractor` / `@register_scorer` / `@register_aggregator`、`@register_adapter`（模型协议）、 -`@register_sandbox`（执行环境）、`@register_env`（agent 世界）、`@register_renderer`（报告呈现）。 -生成参数预设注册为 profile（`--profile`）。 +其余插件点同构：`@register_prompt_renderer`、`@register_extractor/scorer/aggregator`、`@register_adapter`、`@register_sandbox`、`@register_env`、`@register_renderer`。 -数据插件还可以导出 `_few_shot(split, subset, n)` 钩子注入官方手写范例（BBH CoT 即此实现）； -DatasetSpec 声明每 bench 的默认值（few-shot 数量/split、`gen_config`、prompt 风格）， -常见场景零配置。 - -## 架构 +## 7. 架构 ``` -evalharness/ -├── cli.py data | eval | sandbox | viz 子命令 -├── progress/ Rich 每样本终端进度（无 rich 自动降级） -├── data/ 统一 Sample schema、惰性物化、内容寻址缓存 -│ └── datasets/ 28 个单文件插件 -├── model/ adapter（怎么调）+ deployer（怎么部署） -│ ├── pool.py 端点池、自适应闸门、failover -│ ├── prompt_renderers 逐 bench 官方 prompt 模板 -│ ├── gen_profiles.py 命名生成参数预设 -│ └── runner.py 异步生成 → 同步判分；断点、重试、进度钩子 -├── eval/ extract → score → aggregate 流水线 + recipes -├── sandbox/ docker（硬隔离执行）/ local；镜像引用计数 -├── agent/ 消息泵 + Environment 插件（bfcl / tau2 / swe） -└── viz/ text / md / md_compare / radar / excel / errors +data/ 统一 Sample schema，惰性物化，内容寻址缓存（28 个单文件插件） +model/ adapter（协议）+ pool（端点池/AIMD/failover）+ prompt_renderers + gen_profiles +eval/ extract → score → aggregate 流水线 + recipes +sandbox/ docker 硬隔离执行 / local；镜像引用计数 +agent/ 消息泵 + Environment 插件（bfcl/tau2/swe） +viz/ text/md/md_compare/excel/radar/errors +progress/ Rich 每样本进度（缺 rich 自动降级） ``` -设计原则： +层间严格分离：数据层只回答"题目与金标"，判分层只回答"如何评判"，模型层只回答"如何触达"；预测是不可变 artifact。 -- **层间严格分离** —— 数据层回答"题目与金标是什么"；判分层回答"如何评判一个回复"；模型层回答 - "如何触达模型"。下游只见 `Sample`，不见原始数据格式。 -- **声明优先于执行** —— 样本携带沙箱/工具声明，由执行层物化；数据层永不执行任何东西。 -- **注册表而非配置文件** —— 插件 import 即注册；`list` 命令枚举不触网。 +## 8. 对齐验证 -## 对齐验证 +prompt 与判分器经双层验证（字符串级：同一记录双侧渲染逐字节一致；分数级：同题同参数对比 evalscope）： -prompt 模板与判分器在两个层面与 evalscope 对齐过：字符串级（同一条记录过两侧管线，prompt 逐字节 -一致）与分数级（同题同生成参数）： +- Qwen3-8B：23/28 分差 < 0.05 +- DeepSeek-V4-Flash：20+/25 分差 < 0.05（mmlu_pro 0.0000） -- **Qwen3-8B**：28 个 benchmark 中 23 个同题分差 < 0.05。 -- **DeepSeek-V4-Flash**：25 个中 20+ 个分差 < 0.05（mmlu_pro 分差 0.0000）。 - -残差分歧是定性而非掩盖：已知原因包括金标集差异（DROP 的 validated answers）、排列敏感性（GPQA）、 -以及 benchmark 侧缺陷（evalscope 的 bigcodebench 执行器空跑、BFCL 单轮格式提示被剥 —— 均有 -代码级证据记录，我方侧已规避且未改动 evalscope）。 - -## License - -尚未声明 —— 公开发布前请添加 `LICENSE`。第三方 benchmark 数据与内置的官方判分片段 -（如 BBH CoT 范例、SimpleQA judge prompt）保留上游许可；各数据集插件头部记录了数据来源。 +残差均已定性（金标集差异 / 排列敏感 / benchmark 侧缺陷），见各 recipe 注释。 diff --git a/evalharness/cli.py b/evalharness/cli.py index 93aa2c1..2963f38 100644 --- a/evalharness/cli.py +++ b/evalharness/cli.py @@ -1,6 +1,7 @@ """EvalHarness CLI. Zero third-party deps beyond the data layer (pydantic).""" import argparse +import os import time import json import sys @@ -9,6 +10,8 @@ from concurrent.futures import ThreadPoolExecutor, as_completed def _overrides(args): """Optional DatasetSpec field overrides shared by fetch/stats/show.""" + if getattr(args, 'hf_endpoint', None): + os.environ['HF_ENDPOINT'] = args.hf_endpoint if getattr(args, 'cache_dir', None): from evalharness.data.dataset import set_cache_root @@ -109,6 +112,9 @@ def _cmd_sandbox_prefetch(args) -> int: def _add_override_flags(p: argparse.ArgumentParser) -> None: + p.add_argument('--hf-endpoint', default='', + help='HuggingFace endpoint override, e.g. https://hf-mirror.com ' + '(sets HF_ENDPOINT before any dataset download)') p.add_argument('--source', help='override DatasetSpec.source (e.g. a local dir)') p.add_argument('--split', help='override DatasetSpec.split') p.add_argument('--subset', help='override DatasetSpec.subset') diff --git a/evalharness/model/runner.py b/evalharness/model/runner.py index d880ca1..23eb5ec 100644 --- a/evalharness/model/runner.py +++ b/evalharness/model/runner.py @@ -373,8 +373,11 @@ async def generate_predictions( # include subset in the checkpoint key: same dataset under # different subsets (bbh tasks, lb2 lengths) must not share state sub = getattr(dataset_spec, 'subset', '') or '' - ckpt = checkpoint_path(os.environ.get('EVALHARNESS_CACHE') - or os.path.expanduser('~/.cache/evalharness'), + from ..data.dataset import get_cache_root + + # one root for everything: --cache-dir > $EVALHARNESS_CACHE > + # ~/.cache/evalharness (data cache and checkpoints stay together) + ckpt = checkpoint_path(str(get_cache_root()), f'{dataset_name}:{sub}' if sub else dataset_name, adapter.model or str(adapter)) ckpt_store = CheckpointStore(ckpt, model=adapter.model or str(adapter))