5c749cda03
- scripts: 11 个服务器原样脚本入库（md5 对照表更新至 README）；D=60.1 生产原样配方、 E=v5 DFlash 底稿、F=PD 链四角色部署+launch+双场景压测驱动 - profiles: 新增 6 个 .env（D/E 单机 + F 四角色，均带镜像 digest sha256:28e0d260…，对齐 kimi3 PD 多角色先例） - deploy/PD_CHAIN.md: 方案 F 编排手册（启动顺序 mc-master→prefill→decode→router、 基础设施依赖表、质量门口径、拆链恢复、÷2 单机等效判决） - platforms/patches/pro6000/glm53_pd_chain/: sglang 补丁树 vs 镜像原版 11 文件 unified diff 快照——宿主树无 .git，此为唯一版本记录（DFlash+PP+PD 解锁全集） - deploy/manifests/: GLM-5.3-NVFP4(47分片)/GLM-5.3-DFlash2(单分片) 权重 md5 清单 - deploy/CURRENT.md: 全集群现役状态页（2026-09-08 八机实测） - deploy/verify_profile.sh: 防漂移核验工具（digest+参数 token 比对+端口/health， 已在 60.1 生产容器实测 PASS）
36 lines
1.9 KiB
Bash
36 lines
1.9 KiB
Bash
# GLM-5.3-NVFP4 PD 分离链 - 角色4: MiniLB 路由（方案F，跑在 6000D-2 = 174.1.60.2:31000）。
|
||
# 四角色链之一，启动顺序强制: mc-master -> prefill -> decode -> [本角色]。
|
||
# 完整链编排见 deploy/PD_CHAIN.md。
|
||
# 可执行脚本: experiments/pro6000/glm53_nvfp4_pro6000d_sglang_dual_scenario_bench/scripts/deploy_pd_smoke_router.sh
|
||
#
|
||
# 关键点:
|
||
# - 镜像内自带 sglang_router（python3 -m sglang_router.launch_router），无需 GPU
|
||
# - --prefill 参数形态: URL 后跟 prefill 侧 disaggregation-bootstrap-port（28800），
|
||
# 这是 KV 传输握手口，漏掉则路由建立后首请求挂起；--decode 只有 URL
|
||
# - bench 与质量门全部经 :31000/generate 打（--url http://174.1.60.2:31000/generate），
|
||
# 即全链路含 KV transfer + DFlash 草稿
|
||
# - usage/accept 指标 router 转发后可能缺失: 命中率读 prefill 容器日志
|
||
# （docker logs glm53-pd-smoke-prefill，PP2 下日志计数 ×2 不影响比值），
|
||
# accept 读 decode 容器日志
|
||
# - 质量门脚本: 用 quality_gate_605.sh 副本 sed 's/PORT=30000/PORT=31000/' 生成
|
||
# - 就绪判据: ss -tln | grep :31000
|
||
#
|
||
# 实测背景: 全链 13/13 干净点、质量门 6/7（tool call 为 parser 配置缺口，与 B/D 同口径）。
|
||
|
||
PLATFORM=pro6000
|
||
EXPERIMENT=glm53_nvfp4_pro6000_pd_router
|
||
MODEL_NAME=GLM-5.3-NVFP4
|
||
ENGINE=sglang-router
|
||
RUNTIME=docker
|
||
ROLE=pd-router
|
||
NODE=174.1.60.2
|
||
DOCKER_IMAGE=lmsysorg/sglang:nightly-dev-20260828-daf63171
|
||
DOCKER_IMAGE_DIGEST=sha256:28e0d26073161e49ca56eba808d264a4223804a212020f1dfe1b2405b9f8a399
|
||
CONTAINER_NAME=pd-smoke-router
|
||
PORT=31000
|
||
|
||
DOCKER_FLAGS="--network host --restart unless-stopped --entrypoint python3"
|
||
LAUNCH_ARGS="-m sglang_router.launch_router --pd-disaggregation --mini-lb --prefill http://174.1.60.1:30000 28800 --decode http://174.1.60.2:30000 --host 0.0.0.0 --port 31000"
|
||
|
||
READY_CHECK="ss -tln | grep :31000"
|