370953729b
- perf_stats aggregator lives in eval/, not model/: the import failed silently and EVERY perf column was empty (not just ttft). Now warns on stderr instead of swallowing. - repeats > 1 get their own checkpoint key (:rep2, :rep3, ...): repeat 2 previously restored repeat 1's predictions and finished instantly with identical scores. rep1 keeps the legacy key (existing checkpoints still resume). - repeats summary: report the MEAN score and aggregate time/tokens over ALL runs (was: last run only). - README: six-benchmark command as the primary example. Co-Authored-By: Claude <noreply@anthropic.com>
1.4 KiB
1.4 KiB
请你一个一个回答我的问题
- git clone
<repo>EvalHarness 我们没有传吗，请你传到https://git.meta-stone.net/sora/EvalHarness - pip install '.[bfcl]' 只有这一个吗，其他的都自动安装包了吗，我运行bfcl的时候会提醒我安装吗
- --resume 是什么左右
- 吧import asyncio 封装起来用evalharness.xx 直接启动
- 这个有后台选择吗，比如vllm ，openai， xxx'openai-pool/http://gpu1:{8123..8130}/v1,gpu2:{8200..8203}/v1?qwen3-8b!nothink',
- gen_profile='qwen3-es-parity',这个都可以选哪些有什么用
- 代码执行类 bench（humaneval / bigcodebench / live_code_bench） 可以运行之后代码自动下载吗，现在必须提前加载好吗？
- tau2 需要官方数据 + TAU2_DATA_DIR 环境变量：是什么意思，可以改成自动下载的吗，gen_kwargs={'max_input_tokens': 128000}, 这个可以放大yaml里面吗config
- temp=1 × N 次取均值，aime/hmmt 系列也可以放config里
- 跑全部 28 个 代码太复杂了，打包一下，包括config和run
- Prompt 渲染插件 复用率是多少，有多少个bench用的是同一个插件
- 模型适配插件 都有哪些模型可以跑
- 1.5 流量管理 如果跑满了，然后机器空了怎么办
- 沙箱插件 和env 插件的差距是什么，没懂
- P0 跑批编排层 运行确实不太方便，打包一下，