# GLM-5.3-NVFP4 PD 分离链 - 角色4: MiniLB 路由(方案F,跑在 6000D-2 = 174.1.60.2:31000)。 # 四角色链之一,启动顺序强制: mc-master -> prefill -> decode -> [本角色]。 # 完整链编排见 deploy/PD_CHAIN.md。 # 可执行脚本: experiments/pro6000/glm53_nvfp4_pro6000d_sglang_dual_scenario_bench/scripts/deploy_pd_smoke_router.sh # # 关键点: # - 镜像内自带 sglang_router(python3 -m sglang_router.launch_router),无需 GPU # - --prefill 参数形态: URL 后跟 prefill 侧 disaggregation-bootstrap-port(28800), # 这是 KV 传输握手口,漏掉则路由建立后首请求挂起;--decode 只有 URL # - bench 与质量门全部经 :31000/generate 打(--url http://174.1.60.2:31000/generate), # 即全链路含 KV transfer + DFlash 草稿 # - usage/accept 指标 router 转发后可能缺失: 命中率读 prefill 容器日志 # (docker logs glm53-pd-smoke-prefill,PP2 下日志计数 ×2 不影响比值), # accept 读 decode 容器日志 # - 质量门脚本: 用 quality_gate_605.sh 副本 sed 's/PORT=30000/PORT=31000/' 生成 # - 就绪判据: ss -tln | grep :31000 # # 实测背景: 全链 13/13 干净点、质量门 6/7(tool call 为 parser 配置缺口,与 B/D 同口径)。 PLATFORM=pro6000 EXPERIMENT=glm53_nvfp4_pro6000_pd_router MODEL_NAME=GLM-5.3-NVFP4 ENGINE=sglang-router RUNTIME=docker ROLE=pd-router NODE=174.1.60.2 DOCKER_IMAGE=lmsysorg/sglang:nightly-dev-20260828-daf63171 DOCKER_IMAGE_DIGEST=sha256:28e0d26073161e49ca56eba808d264a4223804a212020f1dfe1b2405b9f8a399 CONTAINER_NAME=pd-smoke-router PORT=31000 DOCKER_FLAGS="--network host --restart unless-stopped --entrypoint python3" LAUNCH_ARGS="-m sglang_router.launch_router --pd-disaggregation --mini-lb --prefill http://174.1.60.1:30000 28800 --decode http://174.1.60.2:30000 --host 0.0.0.0 --port 31000" READY_CHECK="ss -tln | grep :31000"