2.3 KiB
2.3 KiB
Larry v4-600 TP2×4 768P 吞吐结果
有效运行
- 运行目录：
results/lora-v4-600-tp2x4-768p-8nfe-5s-20260830-run2 - 模型/任务：MiniMax-H3 FL2VA
- 框架：SGLang 0.5.18
- 拓扑：TP2×4，8× RTX 6000D
- 输出：768P、5 秒、16:9
- LoRA：
minimax_h3_turbo_v4_step600_ema.safetensors，scale 1.0，静态automerge - 采样：请求
num_inference_steps=9，对应 8 次 denoiser evaluation - 正式样本：32 条，每实例 8 条；实例间并行，实例内串行
| 指标 | 结果 |
|---|---|
| 成功/失败 | 32 / 0 |
| Machine wall time | 1007.212 s |
| Machine QPS | 0.03177085 |
| 折算请求量 | 114.38 条/小时 |
| 平均端到端时延 | 125.6795 s |
| P50 | 125.6533 s |
| P95 | 125.6944 s |
与已有 Base 的对比
已有 Base TP2×4 混合分辨率实验中，768P FL2VA 的平均时延为 281.5203 秒。该分桶只有 8 条且混在 480/720/768/1080P 序列中，因此没有独立的纯 768P machine wall time；按四实例串行服务估算，Base 纯 768P 吞吐约为 4 / 281.5203 = 0.01420856 QPS，即约 51.15 条/小时。
| 指标 | Base | Larry v4-600 | 变化 |
|---|---|---|---|
| 请求网格点 | 20 | 9 | -55% |
| 实际 denoiser evaluations | 19 | 8 | -57.9% |
| 768P 平均时延 | 281.5203 s | 125.6795 s | 2.240× 加速 |
| 768P machine QPS | 约 0.01420856 | 0.03177085 | 约 2.236× |
| 每小时请求量 | 约 51.15 | 114.38 | 约 +63.23 条 |
理论 NFE 比值为 19 / 8 = 2.375×，实际端到端时延加速为 2.240×，约达到理论比例的 94.3%；剩余差异来自文本/图片编码、VAE decode、封装写盘和请求调度等非 denoise 固定成本。
对比限制：Base 来自 SGLang 0.5.17 的既有混合分辨率运行，LoRA 来自 SGLang 0.5.18 的纯 768P 运行。当前结果足以给出工程吞吐提升，但若要严格拆分 LoRA 与框架升级各自贡献，应在 0.5.18 上补跑同样 32 条纯 768P Base 20-grid 对照。
兼容性记录
首次 run1 已成功完成模型推理，但新 Conda 环境的 bin 未加入非交互 tmux 的 PATH，导致最终输出校验找不到 ffprobe。正式样本尚未开始，编排器自动停止服务并释放 GPU。脚本随后显式加入 sglang-lora/bin，run2 的 warmup 和 32 条正式样本全部通过。