shishi
|
d9a2e3b5e5
|
fix(910c/glm52): 镜像与 client 修正 - 部署在 910c.2 的 GLM5.2-tuned 镜像
- profile DOCKER_IMAGE 改回 local/vllm-ascend:0.23-a3-20260718-sglang
(910c.1 的 glm5.2-a3-openeuler 缺 expert_map_manager 模块无法启动)
- config.env DOCKER_CLIENT_IMAGE 指向 910c.2 本地 tuned 镜像(带 bench_serving)
- 实测: 910c.2 TP8/DP2 smoke 40/40, TTFT 1062ms, TPOT 51ms
|
2026-08-03 17:22:04 +08:00 |
|
shishi
|
ea8302561e
|
fix(910c): bench client 可用化 - 本地 vllm-ascend-sglang 镜像 + torch_npu 自动加载禁用
- runner.py docker client 注入 TORCH_DEVICE_BACKEND_AUTOLOAD=0（bench 纯 HTTP
client 不需要 NPU backend，跳过 torch_npu 加载失败）
- dsv4/glm52 config.env: DOCKER_CLIENT_IMAGE 指向本地定制镜像
(local/vllm-ascend:0.23-a3-dsv4-sglang，内置 sglang 0.5.2 bench_serving)，
USE_DOCKER_CLIENT=1，sskj.bench/run_bench.sh 的 docker client 分支可用
- run_bench.sh docker client 分支同步注入 AUTOLOAD=0
- glm52 profile 修正 DOCKER_IMAGE 为本机存在的 glm5.2-a3-openeuler
|
2026-08-03 15:43:45 +08:00 |
|
shishi
|
6ba04325d3
|
feat(910c): 部署解耦 - vLLM-Ascend profile 与 deploy 层接管服务启停
- deploy/profiles/910c/ 新增 dsv4/glm52 两个 vLLM-Ascend profile
(JSON 参数经 BOOTSTRAP base64 注入避开镜像 entrypoint 转义；per-TP 参数
由 start 脚本导出后经 profile 模板展开)
- dsv4/glm52 start_vllm_docker.sh 改为 deploy 薄包装(保留 sg docker 重入与
per-TP 覆盖)，新增 stop_vllm_docker.sh
- run_bench.sh / run_adaptive_concurrency*.sh 的 stop/build_server_args 改走
deploy_stop/deploy_render_args
- runtime.py 修复单节点 dry-run 未跳过健康检查的 bug
- ops/README.md 补 910c 章节；.gitignore 补 910c ops_ 输出规则
- 附带入库 910c adaptive 汇总结果
|
2026-08-03 15:36:11 +08:00 |
|