# DSV4-Pro TP16 TTFT 脚本口径审计

时间：2026-07-30  
机器：174.1.51.5 + 174.1.51.7  
引擎：SGLang TP16 / EP2

## 结论

旧脚本的短 TTFT 不是同口径下的更高冷 Prefill 性能。旧结果同时受到以下状态影响：

- 每个 Shape 固定执行 16 条同 Prompt Warm-up。
- Benchmark 不传 `--flush-cache`。
- Seed 固定为 42，并按递增 ISL 重复选取同一批 Prompt。
- 17:40 的失败 Run 已执行 1K Case，18:01 的正式 Run 未重启服务。
- `C=1` 仍至少执行 10 条正式请求，聚合均值混合了不同缓存状态。

新旧 `server_info` 的关键运行参数一致：同一镜像、TP16、EP2、8K Chunk、FlashInfer
MXFP4 MoE、相同的调度和 CUDA Graph 配置。明显的服务启动参数回归已排除。

## 最小复现

| Case | Mean TTFT | P95 TTFT | 说明 |
|---|---:|---:|---|
| 1K→1，首次冷 Cache | 16.04 s | 16.04 s | `warmup=0`，测量前 flush |
| 1K→1，原样再次冷 Cache | 15.90 s | 15.90 s | 再次 flush，排除一次性 JIT 主导 |
| 1K→128，冷 Cache | 15.79 s | 15.79 s | 排除 OSL=1 特殊慢路径 |
| 旧命令语义复现 | 14.60 s | 15.97 s | 10 prompts、16 warmup、不 flush |
| 2026-07-28 旧产物 | 0.455 s | 0.513 s | 服务和 Prompt 已被前一轮预热 |

旧命令语义复现的逐请求 TTFT 为：

```text
4.13, 15.81, 15.70, 15.82, 15.81,
15.82, 16.07, 15.42, 15.63, 15.84 seconds
```

它无法复现旧产物约 0.45 秒的结果。

## 递增长度污染

旧 32K 产物中，第一条 TTFT 约 0.67 秒，其余 9 条平均约 35.51 秒。旧 128K
产物中，第一条约 0.96 秒，其余 9 条平均约 144.83 秒。由于脚本此前已经以相同
Seed 跑过 16K、64K，这些请求会继承上一档 Prompt 前缀。

旧报告仍使用完整 ISL 计算 Input TPS，即使服务实际只需计算新增后缀，所以旧
Input TPS 也会被高估。

## 后续口径

- Phase 2 继续归因清 Prefix Cache 后的完整冷 Prefill。
- Warm Prefix / Prefix Cache 收益单独设计 A/B。
- Cold 与 Warm 数据必须分列，不再直接比较。

原始 JSON 和日志就在本目录。