DSV4 / DeepSeek-V4-Flash 推理测速项目
记录 vllm-dspark、SGLang、vLLM 等后端在 DeepSeek-V4-Flash 上的 benchmark 脚本与最终结果。
目录说明
| 目录/文件 | 说明 |
|---|---|
scripts/ |
所有 benchmark 脚本、服务启动脚本、结果解析脚本 |
bench_results/ |
各次实验的最终产物:人可读 .md 报告 + 结构化 results.json(含原始数据与分位统计) |
BENCHMARK_WORKFLOW.md |
benchmark 目录与命名规范 |
scripts/SLO_STANDARDS.md |
推理服务 SLO 标准(TTFT/TPOT) |
注:
.gitignore已排除envs/、deps/、tmp/、datasets/、logs/、*.zip、原始raw_outputs/*.jsonl等大文件/中间文件。
实验索引
| 实验 | 脚本 | 最终报告 | 说明 |
|---|---|---|---|
| DSpark grid benchmark | scripts/benchmark_dspark_0707/run_dspark_benchmark_grid.sh |
bench_results/dspark_grid_20260707-132641/report.md |
P1/P2/P3 全量网格 |
| DSpark spec-tokens 对比 | scripts/benchmark_dspark_0707/run_dspark_st_comparison.sh |
bench_results/dspark_st_comparison_20260707-150649/comparison_report.md |
--spec-tokens 3 vs 5 |
| SGLang EAGLE vs DSpark | scripts/start_sglang_dsv4_8card.sh + 对比解析脚本 |
bench_results/eagle_grid/dspark_vs_eagle_report.md |
EAGLE 投机解码对比 |
| SGLang vs vLLM 后端对比(0707) | scripts/benchmark_dsv4_backend_comparison.sh |
bench_results/dsv4_backend_comparison_20260707/README.md |
遗留 raw outputs 清单 |
| SGLang 8-card systematic | scripts/run_sglang_benchmark.sh |
bench_results/sglang_8card_systematic_20260704_120819/report.md |
早期 SGLang 系统扫描 |
| SGLang 8-card max throughput | scripts/run_sglang_max_throughput.sh |
bench_results/sglang_8card_max_throughput_20260705_030839/summary.json |
最大吞吐扫描 |
| vLLM-dspark Qwen3 | scripts/bench_vllm_dspark_qwen3.py |
bench_results/vllm_dspark_qwen3_20260705_121256/summary.json |
Qwen3 模型测速 |
| DSV4 后端对比(0705) | scripts/bench_dsv4_comparison.py |
bench_results/dsv4_comparison_20260705_152221/summary.json |
早期 DSpark 配置对比 |
快速复现
DSpark grid
bash scripts/benchmark_dspark_0707/run_dspark_benchmark_grid.sh
Spec-tokens 对比
bash scripts/benchmark_dspark_0707/run_dspark_st_comparison.sh
解析已有结果
/data/user1/yy/envs/sglang/bin/python scripts/benchmark_dspark_0707/parse_results.py \
/data/user1/yy/bench_results/dspark_grid_20260707-132641
SLO 参考
详见 scripts/SLO_STANDARDS.md。
主要关注指标:
- TTFT P95:S2(DeepSeek-V4-Flash 所在层)目标
< 3s - TPOT:S2 目标
< 50ms
环境要求
- Python env:
/data/user1/yy/envs/vllm-dspark(服务端)、/data/user1/yy/envs/sglang(压测客户端) - 模型:
/data/models/DeepSeek-V4-Flash、/data/models/DeepSeek-V4-Flash-DSpark - 硬件:8× H200(当前配置)
Description
Languages
Shell
51.3%
Python
48.7%