46 lines
2.0 KiB
Markdown
46 lines
2.0 KiB
Markdown
# SGLang MiniMax-H3 Larry v4-600 LoRA 吞吐测试
|
||
|
||
本目录复用 `../sglang-base` 的服务与请求口径，针对当前吞吐最优拓扑 TP2×4 测试 Larry v4-600 EMA Turbo LoRA。
|
||
|
||
## 固定口径
|
||
|
||
- 模型：MiniMax-H3 FL2VA
|
||
- 框架：SGLang 0.5.18，Conda 环境 `sglang-lora`
|
||
- 拓扑：TP2×4，共 8 张 RTX 6000D
|
||
- 输出：768P、5 秒、16:9
|
||
- 总请求：32；每实例 8 条；实例间并行、实例内串行
|
||
- LoRA：`minimax_h3_turbo_v4_step600_ema.safetensors`，scale 1.0，merge mode `auto`
|
||
- 采样：请求 `num_inference_steps=9`，对应官方 8 次 denoiser evaluation
|
||
- Base 标准：请求 `num_inference_steps=20`，对应当前 SGLang 语义下的 19 次 denoiser evaluation
|
||
|
||
Larry v4-600 官方配方属于 FL2VA，因此本吞吐测试不把它直接套到 Ref2VA。
|
||
|
||
## 运行
|
||
|
||
```bash
|
||
cd /data/wxy/sskj-h3/throughput/sglang-lora
|
||
tmux new-session -d -s h3_lora_tp2x4_768p \
|
||
"bash scripts/run_sglang_h3_lora_tp2x4_768p.sh 2>&1 | tee run.log"
|
||
```
|
||
|
||
结果写入 `results/lora-v4-600-tp2x4-768p-8nfe-5s-*`，其中包含运行配置、各实例服务日志、逐条请求 JSONL、汇总 JSON/TSV 和 `DONE` 标记。
|
||
|
||
## 与 Base 对齐的 TP2×4 混合测试
|
||
|
||
`scripts/run_sglang_h3_lora_mixed_matrix_6000d.sh` 只运行吞吐最优拓扑，并与 `../sglang-base` 的请求口径对齐：
|
||
|
||
- TP2×4（8 张卡、4 个服务，每服务 2 张卡）
|
||
- FL2VA、Ref2VA
|
||
- 480/720/768/1080，每任务每档 8 条
|
||
- 共 64 条正式请求：每任务 32 条、每分辨率每任务 8 条
|
||
- 每个服务在每个任务下均收到 8 条请求，即每档分辨率各 2 条
|
||
- Larry 请求 `num_inference_steps=9`，对应 8 次 denoiser evaluation
|
||
|
||
Larry v4-600 官方配方面向 FL2VA。矩阵中的 Ref2VA 用于检查权重兼容性和测量吞吐，质量结论必须单独验证，不能视为官方推荐用法。
|
||
|
||
```bash
|
||
cd /data/wxy/sskj-h3/throughput/sglang-lora
|
||
tmux new-session -d -s h3_lora_mixed_matrix \
|
||
"bash scripts/run_sglang_h3_lora_mixed_matrix_6000d.sh > mixed_matrix.log 2>&1"
|
||
```
|