shishi
|
c69831f258
|
feat(pd): PD 长上下文 adaptive concurrency bench（SLO 方案 A，并发 +16）
- matrix.json: 3 个 shape（64k/128, 16k/1k, 1k/4k）
- run_adaptive_concurrency_pd.sh: PD 专用 adaptive 脚本
- 复用 adaptive_bench_lib.sh（并发搜索/SLO 停止/OOM 检测/完整产物）
- server 生命周期函数 no-op（PD 服务常驻，不启停）
- 加 --flush-cache（配合 --disable-radix-cache 测纯净 TTFT/TPOT）
- 离线环境变量 + 本地 tokenizer（避免 HF 在线下载）
- adaptive_config.env: SEARCH_ADDEND=16 +16 递增，上限 64，回退 8/1
- config.env: 新增 get_ttft_slo_ms 分层 SLO（1k->4s, 16k->15s, 64k->30s）
|
2026-08-11 14:45:36 +08:00 |
|