sskj-h3/throughput/sglang-base/README.md

SGLang 多实例 Base

对应报告：MiniMax-H3 在 RTX 6000D 上的 SGLang 多实例部署测试报告（20 steps / 5s）。

实验设计

• 框架/环境：SGLang，Conda 环境 sglang。
• 部署矩阵：TP8×1、TP4×2、TP2×4，总计使用 8 张卡。
• 任务：FL2VA、Ref2VA。
• 分辨率：480、720、768、1080；每任务每档 8 条，总量 32 条。
• 固定生成规格：20 inference steps、5 秒、16:9、flow_shift=12.0、audio_flow_shift=3.0。
• 每个分辨率的样本平均分配到每个实例；不同实例并行、实例内串行。

归档内容

• scripts/run_sglang_h3_mixed_matrix_6000d.sh：服务部署、GPU/端口分配和矩阵编排。
• scripts/minimax_h3_mixed_bench.py：请求分片、异步任务轮询和汇总。
• results/mixed64-20steps-5s-20260822-100844：TP8 最终结果。
• results/balanced-tp4-tp2-20steps-5s-20260822-175030：均衡分片后的 TP4/TP2 最终结果。

报告结论：整机吞吐以 TP2×4 最优；单请求时延以 TP8×1 最优。原始源路径见根目录 SOURCE_MAP.tsv。

runner 可通过 SSIM_REFERENCE_ROOT 对新生成视频进行成对 SSIM。评分发生在吞吐请求结束且服务停止之后，不进入吞吐计时；具体口径和输出见 ../README.md。