2026-08-31 15:57:13 +08:00
..
2026-08-31 15:57:13 +08:00
2026-08-31 15:57:13 +08:00
2026-08-31 15:57:13 +08:00
2026-08-31 15:57:13 +08:00

SGLang 多实例 Base

对应报告:MiniMax-H3 在 RTX 6000D 上的 SGLang 多实例部署测试报告20 steps / 5s

实验设计

  • 框架/环境SGLangConda 环境 sglang
  • 部署矩阵TP8×1、TP4×2、TP2×4总计使用 8 张卡。
  • 任务FL2VA、Ref2VA。
  • 分辨率480、720、768、1080每任务每档 8 条,总量 32 条。
  • 固定生成规格20 inference steps、5 秒、16:9、flow_shift=12.0audio_flow_shift=3.0
  • 每个分辨率的样本平均分配到每个实例;不同实例并行、实例内串行。

归档内容

  • scripts/run_sglang_h3_mixed_matrix_6000d.sh服务部署、GPU/端口分配和矩阵编排。
  • scripts/minimax_h3_mixed_bench.py:请求分片、异步任务轮询和汇总。
  • results/mixed64-20steps-5s-20260822-100844TP8 最终结果。
  • results/balanced-tp4-tp2-20steps-5s-20260822-175030:均衡分片后的 TP4/TP2 最终结果。

报告结论:整机吞吐以 TP2×4 最优;单请求时延以 TP8×1 最优。原始源路径见根目录 SOURCE_MAP.tsv

runner 可通过 SSIM_REFERENCE_ROOT 对新生成视频进行成对 SSIM。评分发生在吞吐请求结束且服务停止之后不进入吞吐计时具体口径和输出见 ../README.md