c69831f258
- matrix.json: 3 个 shape（64k/128, 16k/1k, 1k/4k） - run_adaptive_concurrency_pd.sh: PD 专用 adaptive 脚本 - 复用 adaptive_bench_lib.sh（并发搜索/SLO 停止/OOM 检测/完整产物） - server 生命周期函数 no-op（PD 服务常驻，不启停） - 加 --flush-cache（配合 --disable-radix-cache 测纯净 TTFT/TPOT） - 离线环境变量 + 本地 tokenizer（避免 HF 在线下载） - adaptive_config.env: SEARCH_ADDEND=16 +16 递增，上限 64，回退 8/1 - config.env: 新增 get_ttft_slo_ms 分层 SLO（1k->4s, 16k->15s, 64k->30s）
9 lines
256 B
JSON
9 lines
256 B
JSON
{
|
||
"comment": "PD 分离（MoonCake RDMA）长上下文 bench：并发 +16 递增搜索直到 TTFT SLO 或 OOM。ISL=64k/16k/1k。",
|
||
"mode": "Y",
|
||
"matrix": {
|
||
"65536": { "128": "Y" },
|
||
"16384": { "1024": "Y" },
|
||
"1024": { "4096": "Y" }
|
||
}
|
||
} |