# Kimi-K3 DP2 无投机 A/B

两个独立四节点 SGLang 副本通过 SGLang Router 做 round-robin 负载均衡。固定 `EP4`，比较：

- `tp32`：每副本 `TP32/PP1/EP4`
- `pp8`：每副本 `TP4/PP8/EP4`

测试口径固定为 SPEED-Bench、`16K -> 512`、`C=8`、40 请求、chunk 8K、BF16 KV、FlashInfer MXFP4，不启用投机解码和 Prefix Cache。

```bash
cd /data/hzy/sskj/experiments/pro6000/kimi3_pro6000_dp2_nospec_ab

# 只展开命令
bash run_dp2_nospec_ab.sh dry-run tp32
bash run_dp2_nospec_ab.sh dry-run pp8

# 完整实验
RUN_ID=dp2-tp32-$(date +%Y%m%d-%H%M%S) bash run_dp2_nospec_ab.sh all tp32
RUN_ID=dp2-pp8-$(date +%Y%m%d-%H%M%S) bash run_dp2_nospec_ab.sh all pp8
```

每轮结果保存在 `results/<RUN_ID>/`。正式计时前，脚本分别给两个副本发送一个 `16K -> 1` 请求，避免 Router 只预热到一个副本。

## 2026-09-02 正式结果

| 模式 | Input TPS | Output TPS | TTFT mean / p95 | TPOT mean / p95 | E2E mean |
|---|---:|---:|---:|---:|---:|
| `2 x TP32/PP1/EP4` | 2797.64 | 85.99 | 8.35s / 20.79s | 75.93ms / 88.06ms | 47.15s |
| `2 x TP4/PP8/EP4` | 1799.46 | 55.31 | 7.84s / 11.68s | 126.86ms / 145.13ms | 72.66s |

证据目录：

- `results/dp2-tp32-final-20260902-123051/`
- `results/dp2-pp8-final-20260902-130711/`

两轮均为 40/40 请求成功。Router 使用固定 `round_robin`，两副本负载接近均分。正式运行后补充了 Router 的模型目录挂载，避免后续 tokenizer 注册产生与本轮 round-robin 转发无关的错误日志。