22 lines
1.3 KiB
Markdown
22 lines
1.3 KiB
Markdown
# SGLang 768P 性能 Profile
|
||
|
||
对应报告：[MiniMax-H3 / SGLang 6000D-H3 性能 Profile 完整分析报告（768P）](https://gcn673xpgdxn.feishu.cn/docx/UmoCdnWa2okvjSxjxK0cGnIxnqe)。
|
||
|
||
## 覆盖范围
|
||
|
||
- 当前机器/模型：RTX 6000D-H3、MiniMax-H3、SGLang、TP=2、768P、5 秒、20 steps、batch=1。
|
||
- 输入矩阵：F0/F1/F2/F3、R1-aligned、R5、RV5、RVA。
|
||
- 证据：端到端阶段计时、Torch trace、Nsight Systems、NCCL INFO/COLL、OS Runtime、GPU/磁盘监控。
|
||
- Kernel 补测：FlashAttention、cuDNN SDPA、Memory-Efficient Attention、BF16 GEMM roof probe。
|
||
|
||
## 归档内容
|
||
|
||
- `scripts/h3_profile`：自动化采集、客户端、分析和 kernel 微基准脚本。
|
||
- `results/h3-quick-input-matrix-20260824-run1`：8 个输入分区快速矩阵。
|
||
- `results/h3-targeted-profile-20260824-run1`：F3/RVA Torch + Nsight + NCCL 定向采集。
|
||
- `results/h3-sdpa-kernel-matrix-20260825-run1`：Attention backend/layout/cache 对照。
|
||
|
||
Git 镜像保留采集脚本、普通日志、结构化结果和分析文档；体积较大的 Nsight `*.nsys-rep`、Torch `*.trace.json.gz` 与 SQLite 原始文件仅保留在 6000D-H3 服务器归档中。
|
||
|
||
结论边界：当前 TP2 同 PIX/NUMA 卡对的首要瓶颈是 Denoising 内 FlashAttention 与 BF16 GEMM；NCCL 可见但为次要成本。该判断不能直接外推到 TP4/TP8。
|