shishi
|
d72dbff689
|
feat(pro6000): Kimi-K3 PD 分离部署（MoonCake RDMA）- 8 节点 P/D 双 profile + deploy_pd.sh 编排 + 文档
- 新增 P 组(prefill)/D 组(decode) deploy profiles（mooncake RDMA + 计算网 mlx5_0~3）
- 新增 experiments/pro6000/kimi3_pro6000_pd_rdma/ 编排脚本（mc-master+P+D+router）
- 关键修复: 必须关闭 PYTORCH_CUDA_ALLOC_CONF=expandable_segments
（mooncake RDMA 注册 expandable GPU 段报 Bad address，GitHub #2511）
- 容器内升级 mooncake 0.3.12.post1（含 dmabuf 修复 #2035）
- docs/KIMI_K3_DEPLOY.md 新增附录 B，README 更新实验索引
|
2026-08-11 10:36:09 +08:00 |
|
shishi
|
3bd04698bb
|
feat(pro6000): Kimi-K3 TP32×EP32 部署 profile、sm_120 补丁与运维手册 - 4 节点 RoCE 部署 + bench 实验
|
2026-08-10 11:04:24 +08:00 |
|
shishi
|
d9a2e3b5e5
|
fix(910c/glm52): 镜像与 client 修正 - 部署在 910c.2 的 GLM5.2-tuned 镜像
- profile DOCKER_IMAGE 改回 local/vllm-ascend:0.23-a3-20260718-sglang
(910c.1 的 glm5.2-a3-openeuler 缺 expert_map_manager 模块无法启动)
- config.env DOCKER_CLIENT_IMAGE 指向 910c.2 本地 tuned 镜像(带 bench_serving)
- 实测: 910c.2 TP8/DP2 smoke 40/40, TTFT 1062ms, TPOT 51ms
|
2026-08-03 17:22:04 +08:00 |
|
shishi
|
ea8302561e
|
fix(910c): bench client 可用化 - 本地 vllm-ascend-sglang 镜像 + torch_npu 自动加载禁用
- runner.py docker client 注入 TORCH_DEVICE_BACKEND_AUTOLOAD=0（bench 纯 HTTP
client 不需要 NPU backend，跳过 torch_npu 加载失败）
- dsv4/glm52 config.env: DOCKER_CLIENT_IMAGE 指向本地定制镜像
(local/vllm-ascend:0.23-a3-dsv4-sglang，内置 sglang 0.5.2 bench_serving)，
USE_DOCKER_CLIENT=1，sskj.bench/run_bench.sh 的 docker client 分支可用
- run_bench.sh docker client 分支同步注入 AUTOLOAD=0
- glm52 profile 修正 DOCKER_IMAGE 为本机存在的 glm5.2-a3-openeuler
|
2026-08-03 15:43:45 +08:00 |
|
shishi
|
6ba04325d3
|
feat(910c): 部署解耦 - vLLM-Ascend profile 与 deploy 层接管服务启停
- deploy/profiles/910c/ 新增 dsv4/glm52 两个 vLLM-Ascend profile
(JSON 参数经 BOOTSTRAP base64 注入避开镜像 entrypoint 转义；per-TP 参数
由 start 脚本导出后经 profile 模板展开)
- dsv4/glm52 start_vllm_docker.sh 改为 deploy 薄包装(保留 sg docker 重入与
per-TP 覆盖)，新增 stop_vllm_docker.sh
- run_bench.sh / run_adaptive_concurrency*.sh 的 stop/build_server_args 改走
deploy_stop/deploy_render_args
- runtime.py 修复单节点 dry-run 未跳过健康检查的 bug
- ops/README.md 补 910c 章节；.gitignore 补 910c ops_ 输出规则
- 附带入库 910c adaptive 汇总结果
|
2026-08-03 15:36:11 +08:00 |
|
Zhiyi Hong
|
9acf9fdfdb
|
feat(pro6000): 部署/测试解耦 - deploy 层支持多节点与 vLLM，新增 6 个 profile
- sskj.deploy runtime 支持 NODE_HOSTS 多节点编排(ssh 分发/本地 rank/LOCAL_NODE_RANK)
与 ENGINE=vllm 启动(SERVER_CMD)，容器名按 rank 自动唯一
- scripts/common/deploy_cli.sh 新增 deploy_stop/status/multinode helper 与 node-rank 透传
- src/sskj/common/env.py 修复嵌套 ${VAR:-${OTHER}/path} 展开(平衡花括号扫描)
- deploy/profiles/pro6000/ 新增 6 个 profile: tp16/tp16_eagle/glm52(多节点)、
sglang/vllm tp_dp_matrix、qwen3(单节点)
- 6 个实验 start/stop 脚本改为 deploy 薄包装，run_bench/adaptive 的 server 启停走
deploy_render_args/deploy_start/deploy_stop，tp16 新增 matrix.json
- 首次入库 glm52_pro6000_sglang_multinode_tp16 实验目录；ops/README.md 补 pro6000 章节
- 实测通过: 单节点 dsv4 sglang/vllm 链路 + tp16 双节点启动/bench/清理
|
2026-08-03 15:17:41 +08:00 |
|
yy-fighting
|
3761d75b00
|
feat(ops): add unified bench/deploy layers and P800 profile
|
2026-08-02 15:36:28 +08:00 |
|