sskj/glm52_910c_vllm_tp_dp_matrix at ea8302561e9abf2c62e391ec3747c03919425a1a - sskj

History

shishi ea8302561e fix(910c): bench client 可用化 - 本地 vllm-ascend-sglang 镜像 + torch_npu 自动加载禁用

- runner.py docker client 注入 TORCH_DEVICE_BACKEND_AUTOLOAD=0（bench 纯 HTTP
  client 不需要 NPU backend，跳过 torch_npu 加载失败）
- dsv4/glm52 config.env: DOCKER_CLIENT_IMAGE 指向本地定制镜像
  (local/vllm-ascend:0.23-a3-dsv4-sglang，内置 sglang 0.5.2 bench_serving)，
  USE_DOCKER_CLIENT=1，sskj.bench/run_bench.sh 的 docker client 分支可用
- run_bench.sh docker client 分支同步注入 AUTOLOAD=0
- glm52 profile 修正 DOCKER_IMAGE 为本机存在的 glm5.2-a3-openeuler

2026-08-03 15:43:45 +08:00

adaptive_config.env

feat(adaptive): support tiered per-ISL TTFT SLO via get_ttft_slo_ms()

2026-07-30 10:47:56 +08:00

compare.py

feat(platform): add Ascend 910C NPU platform support

2026-07-27 22:00:05 +08:00

config.env

fix(910c): bench client 可用化 - 本地 vllm-ascend-sglang 镜像 + torch_npu 自动加载禁用

2026-08-03 15:43:45 +08:00

generate_scenarios.py

feat(platform): add Ascend 910C NPU platform support