Kimi-K3 DP2 无投机 A/B

两个独立四节点 SGLang 副本通过 SGLang Router 做 round-robin 负载均衡。固定 EP4，比较：

tp32：每副本 TP32/PP1/EP4
pp8：每副本 TP4/PP8/EP4

测试口径固定为 SPEED-Bench、16K -> 512、C=8、40 请求、chunk 8K、BF16 KV、FlashInfer MXFP4，不启用投机解码和 Prefix Cache。

cd /data/hzy/sskj/experiments/pro6000/kimi3_pro6000_dp2_nospec_ab

# 只展开命令
bash run_dp2_nospec_ab.sh dry-run tp32
bash run_dp2_nospec_ab.sh dry-run pp8

# 完整实验
RUN_ID=dp2-tp32-$(date +%Y%m%d-%H%M%S) bash run_dp2_nospec_ab.sh all tp32
RUN_ID=dp2-pp8-$(date +%Y%m%d-%H%M%S) bash run_dp2_nospec_ab.sh all pp8

每轮结果保存在 results/<RUN_ID>/。正式计时前，脚本分别给两个副本发送一个 16K -> 1 请求，避免 Router 只预热到一个副本。

2026-09-02 正式结果

模式	Input TPS	Output TPS	TTFT mean / p95	TPOT mean / p95	E2E mean
`2 x TP32/PP1/EP4`	2797.64	85.99	8.35s / 20.79s	75.93ms / 88.06ms	47.15s
`2 x TP4/PP8/EP4`	1799.46	55.31	7.84s / 11.68s	126.86ms / 145.13ms	72.66s

证据目录：

results/dp2-tp32-final-20260902-123051/
results/dp2-pp8-final-20260902-130711/

两轮均为 40/40 请求成功。Router 使用固定 round_robin，两副本负载接近均分。正式运行后补充了 Router 的模型目录挂载，避免后续 tokenizer 注册产生与本轮 round-robin 转发无关的错误日志。

1.5 KiB Raw Blame History Unescape Escape

Kimi-K3 DP2 无投机 A/B

2026-09-02 正式结果

1.5 KiB

Raw Blame History