sskj-h3

MiniMax-H3 在 RTX 6000D-H3 上的吞吐、性能 Profile、成对 SSIM 与 VBench 评测归档。

目录

• throughput/：吞吐测试、Profile 与成对 SSIM。
  • sglang-base/：SGLang TP8×1、TP4×2、TP2×4，20 steps / 5s 基准。
  • sglang-base-b300/：B300 相关 SGLang 基准。
  • sglang-lora/：Larry LoRA 加速基准。
  • sglang-profile/：Torch/Nsight/NCCL 与 SDPA kernel 分析。
  • vllm-omni-base/：vLLM-Omni 多实例基准。
  • common/paired_video_ssim.py：候选运行相对 base 的逐帧成对 SSIM。
• vbench-score/：VBench 视频与 16 维评分。
  • vbench-base/：base 生成与评分归档。
  • vbench-lora/：Larry LoRA 生成与评分归档。
• SOURCE_MAP.tsv：源路径、归档路径、文件数和字节数。
• tools/：非破坏性归档与验收脚本。

SSIM 与 VBench 的分工

成对 SSIM 用相同 prompt、seed、任务、分辨率、时长和宽高比的 base 视频作为参考，按 request_id 配对。视频由 FFmpeg 解码并统一为 yuv420p，然后逐帧计算 Y/U/V/All SSIM；主口径是 All。它适合测量 Cache-DiT、TeaCache、Larry 等加速方案对 base 输出的像素/结构偏移。

VBench 独立衡量主体一致性、运动、审美等生成质量维度。SSIM 高不等于 VBench 高，VBench 高也不保证逐样本复现，因此两者互补。

吞吐 runner 只有在设置 SSIM_REFERENCE_ROOT 时才会在每个 phase 结束、SGLang 服务完全停止后评分，不会把解码和评分时间计入吞吐：

SSIM_REFERENCE_ROOT=/data/wxy/sskj-h3/throughput/sglang-base/results/balanced-tp4-tp2-20steps-5s-20260822-175030 \
SSIM_THRESHOLD=0.90 \
bash /data/wxy/sskj-h3/throughput/sglang-lora/scripts/run_sglang_h3_lora_mixed_matrix_6000d.sh

参考目录和候选目录都应包含 tpN_replicasM/<task>/client_*/results.jsonl。每个候选 phase 会新增：

• quality/paired_ssim.json：总体、分辨率分组和逐视频结果。
• quality/paired_ssim.tsv：逐视频表。
• quality/paired_ssim_frames.tsv：逐帧表。
• quality/paired_ssim.log：评分日志。

默认阈值为 0.90，只记录是否通过，不中止完整矩阵；需要将低于阈值视作失败时设置 SSIM_FAIL_BELOW_THRESHOLD=true。

Git 镜像边界

服务器保留全部实体文件；同步到 Git 时排除 vbench-score/*/results/、全部 *.mp4、全部 *.sqlite、Nsight *.nsys-rep 和 Torch *.trace.json.gz 原始采集。代码、日志、JSON/JSONL、TSV、结构化汇总和分析文档正常纳入版本库。

验证

/root/.miniconda3/bin/python /data/wxy/sskj-h3/tools/validate_sskj_h3_archive.py