2.1 KiB
2.1 KiB
DSV4-Pro TP16 TTFT 脚本口径审计
时间：2026-07-30
机器：174.1.51.5 + 174.1.51.7
引擎：SGLang TP16 / EP2
结论
旧脚本的短 TTFT 不是同口径下的更高冷 Prefill 性能。旧结果同时受到以下状态影响：
- 每个 Shape 固定执行 16 条同 Prompt Warm-up。
- Benchmark 不传
--flush-cache。 - Seed 固定为 42，并按递增 ISL 重复选取同一批 Prompt。
- 17:40 的失败 Run 已执行 1K Case，18:01 的正式 Run 未重启服务。
C=1仍至少执行 10 条正式请求，聚合均值混合了不同缓存状态。
新旧 server_info 的关键运行参数一致：同一镜像、TP16、EP2、8K Chunk、FlashInfer
MXFP4 MoE、相同的调度和 CUDA Graph 配置。明显的服务启动参数回归已排除。
最小复现
| Case | Mean TTFT | P95 TTFT | 说明 |
|---|---|---|---|
| 1K→1，首次冷 Cache | 16.04 s | 16.04 s | warmup=0，测量前 flush |
| 1K→1，原样再次冷 Cache | 15.90 s | 15.90 s | 再次 flush，排除一次性 JIT 主导 |
| 1K→128，冷 Cache | 15.79 s | 15.79 s | 排除 OSL=1 特殊慢路径 |
| 旧命令语义复现 | 14.60 s | 15.97 s | 10 prompts、16 warmup、不 flush |
| 2026-07-28 旧产物 | 0.455 s | 0.513 s | 服务和 Prompt 已被前一轮预热 |
旧命令语义复现的逐请求 TTFT 为：
4.13, 15.81, 15.70, 15.82, 15.81,
15.82, 16.07, 15.42, 15.63, 15.84 seconds
它无法复现旧产物约 0.45 秒的结果。
递增长度污染
旧 32K 产物中，第一条 TTFT 约 0.67 秒，其余 9 条平均约 35.51 秒。旧 128K 产物中，第一条约 0.96 秒，其余 9 条平均约 144.83 秒。由于脚本此前已经以相同 Seed 跑过 16K、64K，这些请求会继承上一档 Prompt 前缀。
旧报告仍使用完整 ISL 计算 Input TPS，即使服务实际只需计算新增后缀，所以旧 Input TPS 也会被高估。
后续口径
- Phase 2 继续归因清 Prefix Cache 后的完整冷 Prefill。
- Warm Prefix / Prefix Cache 收益单独设计 A/B。
- Cold 与 Warm 数据必须分列，不再直接比较。
原始 JSON 和日志就在本目录。