2026-08-31 15:57:13 +08:00
..
2026-08-31 15:57:13 +08:00
2026-08-31 15:57:13 +08:00
2026-08-31 15:57:13 +08:00
2026-08-31 15:57:13 +08:00
2026-08-31 15:57:13 +08:00

MiniMax-H3 VBench Base

本目录保存 SGLang TP2×4 生成、VBench-v1 官方 16 维评分及评分环境适配材料。

测试方案

  • 生成框架SGLang4 个 TP=2 实例,占用 8 张 RTX 6000D。
  • 数据:/data/datasets/vbench 与 VBench 标准 prompt 元数据。
  • 每个 prompt 1 个视频,共 944 个;生成完成后评分,不重复生成。
  • 评分15 个主维度使用 8 卡分布式;官方 static_filter.py 后计算 temporal_flickering
  • 注意:这是单样本 Base 分数,不是官方每 prompt 4 个样本的完整 4-seed 分数。

最终结果

  • Quality Score0.8548488058792809
  • Semantic Score0.6602327892569723
  • Total Score0.8159256025548192
  • 完整 16 维:results/h3-vbench-base-dense-tp2x4-20260826-run1/evaluation/vbench_16_dimensions.json
  • 官方打包:results/h3-vbench-base-dense-tp2x4-20260826-run1/evaluation/evaluation_results.zip
  • 总分日志:results/h3-vbench-base-dense-tp2x4-20260826-run1/evaluation/final_score.txt

目录

  • scripts:生成、矩阵部署、权重预取、环境重建和验收脚本。
  • environment:独立评分环境的 constraints、pip/conda 快照和验收记录。
  • results944 个视频、主评分、静态过滤、flicker 评分和失败日志归档。
  • VBENCH_SCORING_ADAPTATIONS.md:评分阶段问题、根因、修复和复现方式。
  • ORIGINAL_RUNBOOK.md:原始运行说明副本。

results/ 只存在于 /data/wxy/sskj-h3 服务器归档中Git 镜像通过 .gitignore 排除该目录;评分方案、环境证据和适配文档仍会上传。