370953729b
- perf_stats aggregator lives in eval/, not model/: the import failed silently and EVERY perf column was empty (not just ttft). Now warns on stderr instead of swallowing. - repeats > 1 get their own checkpoint key (:rep2, :rep3, ...): repeat 2 previously restored repeat 1's predictions and finished instantly with identical scores. rep1 keeps the legacy key (existing checkpoints still resume). - repeats summary: report the MEAN score and aggregate time/tokens over ALL runs (was: last run only). - README: six-benchmark command as the primary example. Co-Authored-By: Claude <noreply@anthropic.com>
18 lines
1.4 KiB
Markdown
18 lines
1.4 KiB
Markdown
请你一个一个回答我的问题
|
||
|
||
1. git clone `<repo>` EvalHarness 我们没有传吗，请你传到https://git.meta-stone.net/sora/EvalHarness
|
||
2. pip install '.[bfcl]' 只有这一个吗，其他的都自动安装包了吗，我运行bfcl的时候会提醒我安装吗
|
||
3. --resume 是什么左右
|
||
4. 吧import asyncio 封装起来用evalharness.xx 直接启动
|
||
5. 这个有后台选择吗，比如vllm ，openai， xxx'openai-pool/http://gpu1:{8123..8130}/v1,gpu2:{8200..8203}/v1?qwen3-8b!nothink',
|
||
6. gen_profile='qwen3-es-parity',这个都可以选哪些有什么用
|
||
7. 代码执行类 bench（humaneval / bigcodebench / live_code_bench） 可以运行之后代码自动下载吗，现在必须提前加载好吗？
|
||
8. tau2 需要官方数据 + TAU2_DATA_DIR 环境变量：是什么意思，可以改成自动下载的吗，gen_kwargs={'max_input_tokens': 128000}, 这个可以放大yaml里面吗config
|
||
9. temp=1 × N 次取均值，aime/hmmt 系列也可以放config里
|
||
10. 跑全部 28 个 代码太复杂了，打包一下，包括config和run
|
||
11. Prompt 渲染插件 复用率是多少，有多少个bench用的是同一个插件
|
||
12. 模型适配插件 都有哪些模型可以跑
|
||
13. 1.5 流量管理 如果跑满了，然后机器空了怎么办
|
||
14. 沙箱插件 和env 插件的差距是什么，没懂
|
||
15. P0 跑批编排层 运行确实不太方便，打包一下，
|