1.3 KiB
1.3 KiB
SGLang 768P 性能 Profile
对应报告：MiniMax-H3 / SGLang 6000D-H3 性能 Profile 完整分析报告（768P）。
覆盖范围
- 当前机器/模型：RTX 6000D-H3、MiniMax-H3、SGLang、TP=2、768P、5 秒、20 steps、batch=1。
- 输入矩阵：F0/F1/F2/F3、R1-aligned、R5、RV5、RVA。
- 证据：端到端阶段计时、Torch trace、Nsight Systems、NCCL INFO/COLL、OS Runtime、GPU/磁盘监控。
- Kernel 补测：FlashAttention、cuDNN SDPA、Memory-Efficient Attention、BF16 GEMM roof probe。
归档内容
scripts/h3_profile：自动化采集、客户端、分析和 kernel 微基准脚本。results/h3-quick-input-matrix-20260824-run1：8 个输入分区快速矩阵。results/h3-targeted-profile-20260824-run1：F3/RVA Torch + Nsight + NCCL 定向采集。results/h3-sdpa-kernel-matrix-20260825-run1：Attention backend/layout/cache 对照。
Git 镜像保留采集脚本、普通日志、结构化结果和分析文档；体积较大的 Nsight *.nsys-rep、Torch *.trace.json.gz 与 SQLite 原始文件仅保留在 6000D-H3 服务器归档中。
结论边界：当前 TP2 同 PIX/NUMA 卡对的首要瓶颈是 Denoising 内 FlashAttention 与 BF16 GEMM；NCCL 可见但为次要成本。该判断不能直接外推到 TP4/TP8。