sskj-h3/throughput/sglang-lora/README.md

SGLang MiniMax-H3 Larry v4-600 LoRA 吞吐测试

本目录复用 ../sglang-base 的服务与请求口径，针对当前吞吐最优拓扑 TP2×4 测试 Larry v4-600 EMA Turbo LoRA。

固定口径

• 模型：MiniMax-H3 FL2VA
• 框架：SGLang 0.5.18，Conda 环境 sglang-lora
• 拓扑：TP2×4，共 8 张 RTX 6000D
• 输出：768P、5 秒、16:9
• 总请求：32；每实例 8 条；实例间并行、实例内串行
• LoRA：minimax_h3_turbo_v4_step600_ema.safetensors，scale 1.0，merge mode auto
• 采样：请求 num_inference_steps=9，对应官方 8 次 denoiser evaluation
• Base 标准：请求 num_inference_steps=20，对应当前 SGLang 语义下的 19 次 denoiser evaluation

Larry v4-600 官方配方属于 FL2VA，因此本吞吐测试不把它直接套到 Ref2VA。

运行

cd /data/wxy/sskj-h3/throughput/sglang-lora
tmux new-session -d -s h3_lora_tp2x4_768p \
  "bash scripts/run_sglang_h3_lora_tp2x4_768p.sh 2>&1 | tee run.log"

结果写入 results/lora-v4-600-tp2x4-768p-8nfe-5s-*，其中包含运行配置、各实例服务日志、逐条请求 JSONL、汇总 JSON/TSV 和 DONE 标记。

与 Base 对齐的 TP2×4 混合测试

scripts/run_sglang_h3_lora_mixed_matrix_6000d.sh 只运行吞吐最优拓扑，并与 ../sglang-base 的请求口径对齐：

• TP2×4（8 张卡、4 个服务，每服务 2 张卡）
• FL2VA、Ref2VA
• 480/720/768/1080，每任务每档 8 条
• 共 64 条正式请求：每任务 32 条、每分辨率每任务 8 条
• 每个服务在每个任务下均收到 8 条请求，即每档分辨率各 2 条
• Larry 请求 num_inference_steps=9，对应 8 次 denoiser evaluation

Larry v4-600 官方配方面向 FL2VA。矩阵中的 Ref2VA 用于检查权重兼容性和测量吞吐，质量结论必须单独验证，不能视为官方推荐用法。

cd /data/wxy/sskj-h3/throughput/sglang-lora
tmux new-session -d -s h3_lora_mixed_matrix \
  "bash scripts/run_sglang_h3_lora_mixed_matrix_6000d.sh > mixed_matrix.log 2>&1"