# GLM-5.3-NVFP4 SGLang TP=4 PP=2 + IndexCache deployment profile (single RTX 6000D node).
# 场景二（16k 独立输入、cc8-32、prefill 主导）最优配置：吞吐 +41~79%、cc32 TTFT 减半
# （对比 TP8+EAGLE 生产配置，2026-09-07 真实语料基线）。
# 可执行部署脚本：experiments/pro6000/glm53_nvfp4_pro6000d_sglang_dual_scenario_bench/scripts/deploy_glm53_optimal.sh
#
# 关键点（实测踩坑，勿随意改）:
#   - index_topk_freq=4 为模型原生默认（层轴索引复用省 75% indexer，无质量损失）
#   - 禁投机解码：PP2 与投机框架不兼容（已实测）
#   - 本文件为场景二形态（--disable-radix-cache，独立输入无前缀复用）；
#     场景一 90% 命中对比须启用 radix（唯一差异：去掉 --disable-radix-cache，
#     见 deploy_glm53_optimal_s1.sh）
#   - mem 0.85：0.90 下 cuda graph 捕获余量不足会运行时 OOM（KV 池 569,600 = TP8 的 2.06 倍）
#   - --disable-custom-all-reduce：TP4 over PCIe 用自定义 AR 在本栈无收益
#   - 已知缺口：未带 --tool-call-parser glm47 --reasoning-parser glm45，质量门 6/7
#     （tool call 失败纯属参数缺失，非模型问题）；上生产必须补 parser
#   - 场景一（90% 命中低并发）该配置全面劣于 TP8+EAGLE（输出吞吐 −25~−65%），勿混用选型

PLATFORM=pro6000
EXPERIMENT=glm53_nvfp4_pro6000_sglang_tp4pp2_indexcache
MODEL_NAME=GLM-5.3-NVFP4
ENGINE=sglang
RUNTIME=docker
DOCKER_IMAGE=lmsysorg/sglang:nightly-dev-20260828-daf63171
CONTAINER_NAME=glm53-nvfp4
MODEL_PATH=/data/hf_models/GLM-5.3-NVFP4
SERVED_MODEL_NAME=/data/hf_models/GLM-5.3-NVFP4
PORT=30000
HEALTH_PATH=/health
HEALTH_WAIT_S=2400
CONTAINER_PYTHON=python3

TP=4
DP=1

DEVICE_VARS="CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7"
ENGINE_ENV="PYTHONUNBUFFERED=1 HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1"

DOCKER_FLAGS="--gpus all --ipc=host --shm-size 64g --entrypoint '' -p ${PORT}:${PORT}"
VOLUMES="/data/hf_models:/data/hf_models:ro"

BOOTSTRAP="exec python3 -m sglang.launch_server ${LAUNCH_ARGS}"

LAUNCH_ARGS="--model-path ${MODEL_PATH} --tp-size ${TP} --pp-size 2 --mem-fraction-static 0.85 --max-running-requests 48 --disable-radix-cache --disable-shared-experts-fusion --moe-runner-backend flashinfer_cutlass --disable-flashinfer-autotune --disable-custom-all-reduce --chunked-prefill-size 16384 --json-model-override-args '{\"index_topk_freq\": 4}' --host 0.0.0.0 --port ${PORT}"