24 lines
1.3 KiB
Markdown
24 lines
1.3 KiB
Markdown
# SGLang 多实例 Base
|
||
|
||
对应报告：[MiniMax-H3 在 RTX 6000D 上的 SGLang 多实例部署测试报告（20 steps / 5s）](https://gcn673xpgdxn.feishu.cn/docx/Mzh4dPPQtoFdYTxHJE6cEumRnXx)。
|
||
|
||
## 实验设计
|
||
|
||
- 框架/环境：SGLang，Conda 环境 `sglang`。
|
||
- 部署矩阵：TP8×1、TP4×2、TP2×4，总计使用 8 张卡。
|
||
- 任务：FL2VA、Ref2VA。
|
||
- 分辨率：480、720、768、1080；每任务每档 8 条，总量 32 条。
|
||
- 固定生成规格：20 inference steps、5 秒、16:9、`flow_shift=12.0`、`audio_flow_shift=3.0`。
|
||
- 每个分辨率的样本平均分配到每个实例；不同实例并行、实例内串行。
|
||
|
||
## 归档内容
|
||
|
||
- `scripts/run_sglang_h3_mixed_matrix_6000d.sh`：服务部署、GPU/端口分配和矩阵编排。
|
||
- `scripts/minimax_h3_mixed_bench.py`：请求分片、异步任务轮询和汇总。
|
||
- `results/mixed64-20steps-5s-20260822-100844`：TP8 最终结果。
|
||
- `results/balanced-tp4-tp2-20steps-5s-20260822-175030`：均衡分片后的 TP4/TP2 最终结果。
|
||
|
||
报告结论：整机吞吐以 TP2×4 最优；单请求时延以 TP8×1 最优。原始源路径见根目录 `SOURCE_MAP.tsv`。
|
||
|
||
runner 可通过 `SSIM_REFERENCE_ROOT` 对新生成视频进行成对 SSIM。评分发生在吞吐请求结束且服务停止之后，不进入吞吐计时；具体口径和输出见 `../README.md`。
|