43 lines
2.3 KiB
Markdown
43 lines
2.3 KiB
Markdown
# Larry v4-600 TP2×4 768P 吞吐结果
|
||
|
||
## 有效运行
|
||
|
||
- 运行目录：`results/lora-v4-600-tp2x4-768p-8nfe-5s-20260830-run2`
|
||
- 模型/任务：MiniMax-H3 FL2VA
|
||
- 框架：SGLang 0.5.18
|
||
- 拓扑：TP2×4，8× RTX 6000D
|
||
- 输出：768P、5 秒、16:9
|
||
- LoRA：`minimax_h3_turbo_v4_step600_ema.safetensors`，scale 1.0，静态 `auto` merge
|
||
- 采样：请求 `num_inference_steps=9`，对应 8 次 denoiser evaluation
|
||
- 正式样本：32 条，每实例 8 条；实例间并行，实例内串行
|
||
|
||
| 指标 | 结果 |
|
||
|---|---:|
|
||
| 成功/失败 | 32 / 0 |
|
||
| Machine wall time | 1007.212 s |
|
||
| Machine QPS | 0.03177085 |
|
||
| 折算请求量 | 114.38 条/小时 |
|
||
| 平均端到端时延 | 125.6795 s |
|
||
| P50 | 125.6533 s |
|
||
| P95 | 125.6944 s |
|
||
|
||
## 与已有 Base 的对比
|
||
|
||
已有 Base TP2×4 混合分辨率实验中，768P FL2VA 的平均时延为 281.5203 秒。该分桶只有 8 条且混在 480/720/768/1080P 序列中，因此没有独立的纯 768P machine wall time；按四实例串行服务估算，Base 纯 768P 吞吐约为 `4 / 281.5203 = 0.01420856 QPS`，即约 51.15 条/小时。
|
||
|
||
| 指标 | Base | Larry v4-600 | 变化 |
|
||
|---|---:|---:|---:|
|
||
| 请求网格点 | 20 | 9 | -55% |
|
||
| 实际 denoiser evaluations | 19 | 8 | -57.9% |
|
||
| 768P 平均时延 | 281.5203 s | 125.6795 s | 2.240× 加速 |
|
||
| 768P machine QPS | 约 0.01420856 | 0.03177085 | 约 2.236× |
|
||
| 每小时请求量 | 约 51.15 | 114.38 | 约 +63.23 条 |
|
||
|
||
理论 NFE 比值为 `19 / 8 = 2.375×`，实际端到端时延加速为 2.240×，约达到理论比例的 94.3%；剩余差异来自文本/图片编码、VAE decode、封装写盘和请求调度等非 denoise 固定成本。
|
||
|
||
对比限制：Base 来自 SGLang 0.5.17 的既有混合分辨率运行，LoRA 来自 SGLang 0.5.18 的纯 768P 运行。当前结果足以给出工程吞吐提升，但若要严格拆分 LoRA 与框架升级各自贡献，应在 0.5.18 上补跑同样 32 条纯 768P Base 20-grid 对照。
|
||
|
||
## 兼容性记录
|
||
|
||
首次 `run1` 已成功完成模型推理，但新 Conda 环境的 `bin` 未加入非交互 tmux 的 `PATH`，导致最终输出校验找不到 `ffprobe`。正式样本尚未开始，编排器自动停止服务并释放 GPU。脚本随后显式加入 `sglang-lora/bin`，`run2` 的 warmup 和 32 条正式样本全部通过。
|