# SGLang MiniMax-H3 Larry v4-600 LoRA 吞吐测试 本目录复用 `../sglang-base` 的服务与请求口径,针对当前吞吐最优拓扑 TP2×4 测试 Larry v4-600 EMA Turbo LoRA。 ## 固定口径 - 模型:MiniMax-H3 FL2VA - 框架:SGLang 0.5.18,Conda 环境 `sglang-lora` - 拓扑:TP2×4,共 8 张 RTX 6000D - 输出:768P、5 秒、16:9 - 总请求:32;每实例 8 条;实例间并行、实例内串行 - LoRA:`minimax_h3_turbo_v4_step600_ema.safetensors`,scale 1.0,merge mode `auto` - 采样:请求 `num_inference_steps=9`,对应官方 8 次 denoiser evaluation - Base 标准:请求 `num_inference_steps=20`,对应当前 SGLang 语义下的 19 次 denoiser evaluation Larry v4-600 官方配方属于 FL2VA,因此本吞吐测试不把它直接套到 Ref2VA。 ## 运行 ```bash cd /data/wxy/sskj-h3/throughput/sglang-lora tmux new-session -d -s h3_lora_tp2x4_768p \ "bash scripts/run_sglang_h3_lora_tp2x4_768p.sh 2>&1 | tee run.log" ``` 结果写入 `results/lora-v4-600-tp2x4-768p-8nfe-5s-*`,其中包含运行配置、各实例服务日志、逐条请求 JSONL、汇总 JSON/TSV 和 `DONE` 标记。 ## 与 Base 对齐的 TP2×4 混合测试 `scripts/run_sglang_h3_lora_mixed_matrix_6000d.sh` 只运行吞吐最优拓扑,并与 `../sglang-base` 的请求口径对齐: - TP2×4(8 张卡、4 个服务,每服务 2 张卡) - FL2VA、Ref2VA - 480/720/768/1080,每任务每档 8 条 - 共 64 条正式请求:每任务 32 条、每分辨率每任务 8 条 - 每个服务在每个任务下均收到 8 条请求,即每档分辨率各 2 条 - Larry 请求 `num_inference_steps=9`,对应 8 次 denoiser evaluation Larry v4-600 官方配方面向 FL2VA。矩阵中的 Ref2VA 用于检查权重兼容性和测量吞吐,质量结论必须单独验证,不能视为官方推荐用法。 ```bash cd /data/wxy/sskj-h3/throughput/sglang-lora tmux new-session -d -s h3_lora_mixed_matrix \ "bash scripts/run_sglang_h3_lora_mixed_matrix_6000d.sh > mixed_matrix.log 2>&1" ```