# DeepSeek-V4 推理性能评估报告

## vLLM DSpark vs 其他投机解码方法 vs SGLang

> 测试环境：8× NVIDIA H200 (143GB)，CUDA 12.x，驱动 575.57.08  
> 测试时间：2026-07-05  
> 测试模型：`DeepSeek-V4-Flash` / `DeepSeek-V4-Flash-DSpark`  
> 测试框架：vLLM 0.24.0、vLLM-dspark 0.23.1rc1.dev788、SGLang 0.5.14

---

## 1. 背景与目标

### 1.1 投机解码（Speculative Decoding）基本原理

大模型自回归生成的瓶颈在于：每生成一个 token 都要做一次完整的模型前向传播。投机解码的核心思想是：

1. 用一个轻量的 **draft model**（或 draft head）一次性生成多个候选 token；
2. 用原始 **target model** 并行验证这些候选 token；
3. 接受与 target 模型一致的 token，从第一个不一致处重新生成。

理想情况下，如果 draft model 质量高，可以一次接受多个 token，从而把有效生成步长从 1 提升到 1+α（α 为平均接受长度），显著降低 latency、提升 throughput。

### 1.2 常见投机解码方法对比

| 方法 | 代表实现 | 优点 | 缺点 |
|---|---|---|---|
| **EAGLE / EAGLE-2** | vLLM EAGLE、SGLang EAGLE | 接受率高（40-70%），draft 模型小 | 需要单独训练 draft 模型，内存占用额外 |
| **MTP (Multi-Token Prediction)** | DeepSeek MTP | 与目标模型结构一致，可共享权重 | 通常只有 1-2 个 MTP head，加速比有限 |
| **DSpark** | vLLM-dspark | 半自回归 draft，并行生成整段，接受长度高 | draft 计算量较大，对 batching/scheduling 要求高 |
| **n-gram / prompt-lookup** | vLLM ngram | 无需额外模型 | 只适用于重复性文本，泛化差 |
| **Medusa** | Medusa | 多个解码头 | 需要训练，内存占用大 |

### 1.3 DSpark 的特点

DSpark 是 DeepSeek 提出的块级半自回归投机解码方案，关键设计：

- **块级 draft**：一次并行生成一个 block（多个 token），而不是逐 token；
- **非因果注意力**：draft block 内部允许未来 token 参与当前 token 计算；
- **Markov head**：在 block 内引入轻量序列依赖；
- **目标模型复用**：DSpark draft 权重与目标模型共存（`mtp.{i}.*`），可共享 embedding/head。

相比 EAGLE，DSpark 的 draft 更接近目标模型结构，因此接受率通常更高，但 draft 前向本身的计算量也更大。DSpark 的优势在 **高并发、长输出** 场景下更明显；在低并发或短输出场景，draft 开销可能抵消收益。

### 1.4 评估目标

本报告系统评估：

1. **vLLM + DSpark** 在 DeepSeek-V4-Flash 上的推理优势；
2. 与 **vLLM 无投机解码** 基线的对比；
3. 与 **SGLang + EAGLE** 的对比；
4. 不同参数（`--spec-tokens`、并发度、输出长度）下的最优配置；
5. vLLM 与 SGLang 两个引擎部署 DSV4 的差异。

---

## 2. 测试环境

### 2.1 硬件

| 项目 | 配置 |
|---|---|
| GPU | 8× NVIDIA H200 143GB |
| 互联 | NVLink + NVSwitch |
| 驱动 | 575.57.08 |
| CUDA | 12.x |

### 2.2 软件版本

| 引擎 | 版本 | 路径 |
|---|---|---|
| SGLang | 0.5.14 | `/data/user1/yy/envs/sglang` |
| vLLM | 0.24.0 | `/data/user1/yy/envs/vllm` |
| vLLM-dspark | 0.23.1rc1.dev788+gfa4321de3 | `/data/user1/yy/envs/vllm-dspark` |

### 2.3 模型

| 模型 | 路径 | 说明 |
|---|---|---|
| DeepSeek-V4-Flash | `/data/models/DeepSeek-V4-Flash` | 标准目标模型 |
| DeepSeek-V4-Flash-DSpark | `/data/models/DeepSeek-V4-Flash-DSpark` | 内含 DSpark draft 权重 |

### 2.4 数据集

- ShareGPT V4.3 unfiltered cleaned split：`/data/user1/yy/datasets/ShareGPT_V4.3_unfiltered_cleaned_split.json`

### 2.5 测试参数

- Tensor Parallel：8
- KV cache dtype：fp8
- Block size：256
- Max model len：auto
- Max num seqs：256
- 输出长度：256（固定）
- Prompt 数量：200
- 并发度：1, 16, 64

---

## 3. 测试方法

### 3.1 服务启动

各引擎服务启动命令如下：

**vLLM-dspark + DSpark**
```bash
vllm serve /data/models/DeepSeek-V4-Flash-DSpark \
  --trust-remote-code --tensor-parallel-size 8 \
  --kv-cache-dtype fp8 --block-size 256 --max-model-len auto \
  --max-num-seqs 256 --tokenizer-mode deepseek_v4 \
  --reasoning-parser deepseek_v4 \
  --spec-method dspark --spec-model /data/models/DeepSeek-V4-Flash-DSpark \
  --spec-tokens 5 \
  --no-disable-hybrid-kv-cache-manager --disable-uvicorn-access-log \
  --port 30004
```

**vLLM-dspark 无投机解码**
```bash
vllm serve /data/models/DeepSeek-V4-Flash-DSpark \
  --trust-remote-code --tensor-parallel-size 8 \
  --kv-cache-dtype fp8 --block-size 256 --max-model-len auto \
  --max-num-seqs 256 --tokenizer-mode deepseek_v4 \
  --reasoning-parser deepseek_v4 \
  --no-disable-hybrid-kv-cache-manager --disable-uvicorn-access-log \
  --port 30004
```

**vLLM 0.24.0 无投机解码**
```bash
vllm serve /data/models/DeepSeek-V4-Flash \
  --trust-remote-code --tensor-parallel-size 8 \
  --kv-cache-dtype fp8 --block-size 256 --max-model-len auto \
  --max-num-seqs 256 --tokenizer-mode deepseek_v4 \
  --reasoning-parser deepseek_v4 \
  --disable-uvicorn-access-log --port 30005
```

**SGLang + EAGLE**
```bash
sglang serve --trust-remote-code --model-path /data/models/DeepSeek-V4-Flash \
  --tp 8 --moe-runner-backend marlin \
  --speculative-algorithm EAGLE --speculative-num-steps 3 \
  --speculative-eagle-topk 1 --speculative-num-draft-tokens 4 \
  --host 0.0.0.0 --port 30000
```

### 3.2 Benchmark 命令

使用各引擎自带的 serving benchmark：

**vLLM / vLLM-dspark**
```bash
vllm bench serve --host 127.0.0.1 --port <PORT> --backend openai \
  --dataset-name sharegpt --dataset-path <DATASET> \
  --sharegpt-output-len 256 --num-prompts 200 \
  --max-concurrency <C> --endpoint /v1/completions \
  --model <MODEL> --seed 42 --save-result --result-dir <DIR>
```

**SGLang**
```bash
python -m sglang.bench_serving --backend sglang --host 127.0.0.1 --port 30000 \
  --dataset-name sharegpt --dataset-path <DATASET> \
  --num-prompts 2000 --sharegpt-output-len 256 \
  --max-concurrency <C> --model <MODEL> --seed 42 --output-file <FILE>
```

> 注：SGLang 历史测试使用 2000 prompts，vLLM-dspark / vLLM 本次测试使用 200 prompts，对比时主要关注相对趋势而非绝对数值。

---

## 4. 测试结果

### 4.1 总体对比（请求吞吐 req/s）

| 配置 | 引擎 | 投机方法 | 并发=1 | 并发=16 | 并发=64 | 并发=128 | 并发=256 |
|---|---|---:|---:|---:|---:|---:|---:|
| SGLang + EAGLE | sglang | EAGLE (4 draft) | 1.17 | 6.03 | 9.64 | 14.35 | 22.06 |
| vLLM-dspark + DSpark (st=3) | vllm-dspark | DSpark | 1.03 | 8.24 | **14.53** | - | - |
| vLLM-dspark + DSpark (st=5) | vllm-dspark | DSpark | 1.07 | 7.70 | 9.36 | - | - |
| vLLM-dspark + DSpark (st=7) | vllm-dspark | DSpark | 1.03 | 7.46 | 9.13 | - | - |
| vLLM-dspark 无投机 | vllm-dspark | 无 | 0.59 | 5.61 | 7.34 | - | - |
| vLLM 0.24.0 无投机 | vllm | 无 | 0.58 | 5.05 | 6.85 | - | - |

### 4.2 总体对比（输出 token 吞吐 tok/s）

| 配置 | 并发=1 | 并发=16 | 并发=64 | 并发=128 | 并发=256 |
|---|---:|---:|---:|---:|---:|
| SGLang + EAGLE | 243.51 | 1259.0 | 2012.43 | 2996.37 | 4608.35 |
| vLLM-dspark + DSpark (st=3) | 254.39 | 1992.18 | **3507.81** | - | - |
| vLLM-dspark + DSpark (st=5) | 257.18 | 1862.34 | 2210.46 | - | - |
| vLLM-dspark + DSpark (st=7) | 251.58 | 1772.30 | 2218.58 | - | - |
| vLLM-dspark 无投机 | 144.62 | 1364.00 | 1803.98 | - | - |
| vLLM 0.24.0 无投机 | 138.26 | 1180.98 | 1641.89 | - | - |

### 4.3 vLLM-dspark 不同 `--spec-tokens` 对比

| spec-tokens | 并发 | req/s | out tok/s | 平均接受长度 | 接受率 | mean TTFT (ms) | mean TPOT (ms) | mean ITL (ms) |
|---:|---:|---:|---:|---:|---:|---:|---:|---:|
| 3 | 1 | 1.03 | 254.39 | 2.22 | 40.56% | 78.07 | 3.64 | 8.00 |
| 3 | 16 | 8.24 | 1992.18 | 2.19 | 39.66% | 90.90 | 7.63 | 16.23 |
| 3 | 64 | **14.53** | **3507.81** | 2.16 | 38.71% | 355.29 | 15.84 | 33.13 |
| 5 | 1 | 1.07 | 257.18 | 2.44 | 28.71% | 88.43 | 3.53 | 8.56 |
| 5 | 16 | 7.70 | 1862.34 | 2.39 | 27.87% | 92.23 | 8.19 | 18.90 |
| 5 | 64 | 9.36 | 2210.46 | 2.40 | 28.07% | 453.06 | 26.19 | 60.10 |
| 7 | 1 | 1.03 | 251.58 | 2.43 | 20.45% | 73.16 | 3.70 | 8.92 |
| 7 | 16 | 7.46 | 1772.30 | 2.41 | 20.10% | 106.43 | 8.92 | 20.07 |
| 7 | 64 | 9.13 | 2218.58 | 2.42 | 20.25% | 351.01 | 26.25 | 61.33 |

> 数据来源：`/data/user1/yy/bench_results/dsv4_comparison_20260705_152221/vllm-dspark-dspark-st{3,5,7}_c{1,16,64}.json`

### 4.4 延迟指标对比

| 配置 | 并发 | mean TTFT (ms) | mean TPOT (ms) | mean ITL (ms) |
|---|---:|---:|---:|---:|
| vLLM-dspark + DSpark (st=3) | 16 | 90.90 | 7.63 | 16.23 |
| vLLM-dspark + DSpark (st=5) | 16 | 92.23 | 8.19 | 18.90 |
| vLLM-dspark + DSpark (st=7) | 16 | 106.43 | 8.92 | 20.07 |
| vLLM-dspark 无投机 | 16 | 113.49 | 11.06 | 11.02 |
| vLLM 0.24.0 无投机 | 16 | 332.87 | 11.73 | 11.74 |
| SGLang + EAGLE | 16 | 168.95 | 12.67 | - |

### 4.5 投机解码 vs 无投机解码加速比

以 vLLM-dspark 无投机为基线：

| 配置 | 并发=1 | 并发=16 | 并发=64 |
|---|---:|---:|---:|
| DSpark st=3 | 1.75× | 1.47× | **1.98×** |
| DSpark st=5 | 1.80× | 1.37× | 1.28× |
| DSpark st=7 | 1.74× | 1.33× | 1.24× |

以 vLLM 0.24.0 无投机为基线：

| 配置 | 并发=1 | 并发=16 | 并发=64 |
|---|---:|---:|---:|
| DSpark st=3 | 1.78× | 1.63× | 2.12× |
| DSpark st=5 | 1.84× | 1.52× | 1.37× |
| DSpark st=7 | 1.77× | 1.48× | 1.33× |

---

## 5. 结果分析

### 5.1 DSpark 的优势场景

- **高并发**：当 batch size 足够大时，DSpark 的 draft 计算可以被充分并行化，接受率带来的收益超过 draft 开销。`--spec-tokens 3` 在并发 64 时达到 14.53 req/s，几乎是 vLLM-dspark 无投机的 2 倍；
- **长输出**：输出 token 越多，投机解码节省的 target 前向次数越多；
- **低延迟与高吞吐兼得**：在并发 16 时，DSpark st=3 的 mean TTFT 仅 90.90 ms，mean TPOT 7.63 ms，均优于无投机基线和 SGLang EAGLE。

### 5.2 DSpark 的劣势场景

- **单请求**：虽然单请求也有 1.7-1.8× 加速，但加速比主要来自接受率；draft 模型的固定开销仍然存在；
- **`--spec-tokens` 过大**：st=5 和 st=7 在高并发（64）下性能反而下降。原因是 draft tokens 数量增加后，验证阶段的计算量和 KV cache 压力增大，而接受率并未提升（st=7 接受率仅 20%）；
- **TTFT 抖动**：高并发下 DSpark 的 P99 TTFT 明显升高（st=5 c=64 时 P99 TTFT 达 5381 ms），说明调度/内存压力较大。

### 5.3 不同 `--spec-tokens` 的选择

| spec-tokens | 最佳并发 | 表现 |
|---|---|---|
| 3 | 高并发（64+） | 接受率最高（~40%），吞吐最高，验证开销最小 |
| 5 | 中低并发（1-16） | 接受长度略高（2.4），单请求吞吐最优 |
| 7 | 不推荐 | 接受率下降（~20%），验证开销大，高并发下性能倒退 |

### 5.4 与 EAGLE 的对比

- **接受率**：EAGLE 接受长度稳定在 2.61，DSpark st=3 接受长度 2.16-2.22，但 DSpark 接受率（token 级别）达 38-40%，说明每段 draft 的质量并不低；
- **吞吐**：vLLM-dspark + DSpark st=3 在并发 64 时（14.53 req/s）已接近 SGLang EAGLE 在并发 128 时（14.35 req/s）。SGLang 在更高并发（256-512）下仍能通过扩大 batch 提升吞吐，但这是以极高的 TTFT 为代价的；
- **延迟**：vLLM-dspark DSpark 在中低并发下的 TTFT/TPOT 明显优于 SGLang EAGLE；
- **实现成熟度**：SGLang 的 EAGLE 实现更成熟稳定；vLLM-dspark 的 DSpark 仍在快速迭代，部分参数组合（如 st=5/7 @ c=64）出现性能倒退。

### 5.5 vLLM-dspark vs vLLM 0.24.0

- 在完全无投机解码的情况下，vLLM-dspark（0.23.1rc）比 vLLM 0.24.0 更快：
  - 并发 1：0.59 vs 0.58 req/s（接近）
  - 并发 16：5.61 vs 5.05 req/s（+11%）
  - 并发 64：7.34 vs 6.85 req/s（+7%）
- 这说明 vLLM-dspark 分支对 DeepSeek-V4 的 MLA / MoE / sparse attention 路径有更针对性的优化。

### 5.6 vLLM vs SGLang 引擎差异

- **启动与兼容性**：vLLM-dspark 对 DSV4 支持更直接，SGLang 对 EAGLE 支持更成熟；
- **调度策略**：SGLang 的 radix attention / chunked prefill 在长上下文场景有优势；
- **性能天花板**：SGLang EAGLE 在极高并发（512+）下吞吐更高，但延迟失控；vLLM-dspark DSpark 在中高并发（16-64）下延迟更优；
- **数据可比性**：SGLang 历史测试使用 2000 prompts，vLLM 本次仅 200 prompts，绝对数值需谨慎对比。

---

## 6. 最优参数建议

### 6.1 低延迟场景（单用户 / 低并发）

- 推荐：**DSpark `--spec-tokens 5`**；
- 原因：单请求下 st=5 的 req/s 最高（1.07），TPOT/ITL 与 st=3/7 接近，接受长度最长（2.44）。

### 6.2 高吞吐场景（高并发 / 在线服务）

- 推荐：**DSpark `--spec-tokens 3`**，`--max-num-seqs 256`，`--max-concurrency 64-128`；
- 原因：st=3 在高并发下接受率最高、验证开销最小，实测吞吐最高（14.53 req/s，3507 tok/s）。

### 6.3 长输出场景

- 推荐：开启 DSpark，`--spec-tokens 3-5`；
- 原因：输出越长，每次投机成功节省的 target 前向越多。st=3 更适合高并发，st=5 更适合中低并发。

### 6.4 短输出场景

- 推荐：**关闭投机解码** 或使用 `--spec-tokens 3`；
- 原因：短输出下投机收益有限，且 st=5/7 的验证开销可能抵消收益。

### 6.5 避免的参数组合

- **避免 `--spec-tokens 7` @ 高并发**：接受率仅 20%，高并发下吞吐不如 st=3/5；
- **避免 `--spec-tokens 5` @ 极高并发**：P99 TTFT 大幅升高，服务质量下降。

---

## 7. 结论

1. **vLLM-dspark + DSpark 在 DeepSeek-V4-Flash 上显著优于无投机解码基线**，最佳配置（st=3, c=64）比 vLLM-dspark 无投机快 **1.98×**，比 vLLM 0.24.0 无投机快 **2.12×**；
2. **DSpark 的最佳 `--spec-tokens` 取决于并发度**：
   - 低并发（1-16）：`--spec-tokens 5` 综合最优；
   - 高并发（64+）：`--spec-tokens 3` 综合最优；
3. **与 SGLang EAGLE 相比**，vLLM-dspark DSpark 在中高并发下延迟更优，吞吐接近；SGLang 在极限并发下吞吐更高但延迟失控；
4. **vLLM-dspark 分支对 DSV4 的优化效果明显**，即使无投机解码也比 vLLM 0.24.0 主分支更快；
5. **DSpark 目前仍不够稳定**，部分参数组合（st=5/7 @ c=64）出现性能倒退和高 TTFT 抖动，生产部署前需要针对实际负载调参。

---

## 8. 附录

### 8.1 原始数据文件

- vLLM-dspark / vLLM 测试结果：`/data/user1/yy/bench_results/dsv4_comparison_20260705_152221/`
- SGLang 历史结果：
  - `/data/user1/yy/bench_results/sglang_8card_systematic_20260704_120819/`
  - `/data/user1/yy/bench_results/sglang_8card_max_throughput_20260705_030839/`

### 8.2 测试脚本

- 主控脚本：`/data/user1/yy/bench_dsv4_comparison.py`
- 指标提取脚本：`/tmp/extract_dsv4_metrics.py`

### 8.3 已知限制

- vLLM-dspark 的 DSpark 实现较新，部分参数组合可能不稳定；
- 本次测试未覆盖 PD 分离、前缀缓存、不同输出长度等高级特性；
- SGLang 与 vLLM 的 prompt 数量不一致（2000 vs 200），绝对数值对比仅供参考；
- 不同数据集和 prompt 长度分布会影响结果。