DSV4 / DeepSeek-V4-Flash 推理测速项目

记录 vllm-dspark、SGLang、vLLM 等后端在 DeepSeek-V4-Flash 上的 benchmark 脚本与最终结果。

目录说明

目录/文件 说明
scripts/ 所有 benchmark 脚本、服务启动脚本、结果解析脚本
bench_results/ 各次实验的最终报告与 summary JSON
BENCHMARK_WORKFLOW.md benchmark 目录与命名规范
scripts/SLO_STANDARDS.md 推理服务 SLO 标准TTFT/TPOT

注:.gitignore 已排除 envs/deps/tmp/datasets/logs/*.zip、原始 raw_outputs/*.jsonl 等大文件/中间文件。

实验索引

实验 脚本 最终报告 说明
DSpark grid benchmark scripts/benchmark_dspark_0707/run_dspark_benchmark_grid.sh bench_results/dspark_grid_20260707-132641/report.md P1/P2/P3 全量网格
DSpark spec-tokens 对比 scripts/benchmark_dspark_0707/run_dspark_st_comparison.sh bench_results/dspark_st_comparison_20260707-150649/comparison_report.md --spec-tokens 3 vs 5
SGLang EAGLE vs DSpark scripts/start_sglang_dsv4_8card.sh + 对比解析脚本 bench_results/eagle_grid/dspark_vs_eagle_report.md EAGLE 投机解码对比
SGLang vs vLLM 后端对比0707 scripts/benchmark_dsv4_backend_comparison.sh bench_results/dsv4_backend_comparison_20260707/README.md 遗留 raw outputs 清单
SGLang 8-card systematic scripts/run_sglang_benchmark.sh bench_results/sglang_8card_systematic_20260704_120819/report.md 早期 SGLang 系统扫描
SGLang 8-card max throughput scripts/run_sglang_max_throughput.sh bench_results/sglang_8card_max_throughput_20260705_030839/summary.json 最大吞吐扫描
vLLM-dspark Qwen3 scripts/bench_vllm_dspark_qwen3.py bench_results/vllm_dspark_qwen3_20260705_121256/summary.json Qwen3 模型测速
DSV4 后端对比0705 scripts/bench_dsv4_comparison.py bench_results/dsv4_comparison_20260705_152221/summary.json 早期 DSpark 配置对比

快速复现

DSpark grid

bash scripts/benchmark_dspark_0707/run_dspark_benchmark_grid.sh

Spec-tokens 对比

bash scripts/benchmark_dspark_0707/run_dspark_st_comparison.sh

解析已有结果

/data/user1/yy/envs/sglang/bin/python scripts/benchmark_dspark_0707/parse_results.py \
  /data/user1/yy/bench_results/dspark_grid_20260707-132641

SLO 参考

详见 scripts/SLO_STANDARDS.md

主要关注指标:

  • TTFT P95S2DeepSeek-V4-Flash 所在层)目标 < 3s
  • TPOTS2 目标 < 50ms

环境要求

  • Python env/data/user1/yy/envs/vllm-dspark(服务端)、/data/user1/yy/envs/sglang(压测客户端)
  • 模型:/data/models/DeepSeek-V4-Flash/data/models/DeepSeek-V4-Flash-DSpark
  • 硬件8× H200当前配置
Description
No description provided
Readme 465 MiB
Languages
Shell 51.3%
Python 48.7%