31 lines
1.6 KiB
Markdown
31 lines
1.6 KiB
Markdown
# MiniMax-H3 VBench Base
|
||
|
||
本目录保存 SGLang TP2×4 生成、VBench-v1 官方 16 维评分及评分环境适配材料。
|
||
|
||
## 测试方案
|
||
|
||
- 生成框架：SGLang，4 个 TP=2 实例，占用 8 张 RTX 6000D。
|
||
- 数据：`/data/datasets/vbench` 与 VBench 标准 prompt 元数据。
|
||
- 每个 prompt 1 个视频，共 944 个；生成完成后评分，不重复生成。
|
||
- 评分：15 个主维度使用 8 卡分布式；官方 `static_filter.py` 后计算 `temporal_flickering`。
|
||
- 注意：这是单样本 Base 分数，不是官方每 prompt 4 个样本的完整 4-seed 分数。
|
||
|
||
## 最终结果
|
||
|
||
- Quality Score：`0.8548488058792809`
|
||
- Semantic Score：`0.6602327892569723`
|
||
- Total Score：`0.8159256025548192`
|
||
- 完整 16 维：`results/h3-vbench-base-dense-tp2x4-20260826-run1/evaluation/vbench_16_dimensions.json`
|
||
- 官方打包：`results/h3-vbench-base-dense-tp2x4-20260826-run1/evaluation/evaluation_results.zip`
|
||
- 总分日志：`results/h3-vbench-base-dense-tp2x4-20260826-run1/evaluation/final_score.txt`
|
||
|
||
## 目录
|
||
|
||
- `scripts`：生成、矩阵部署、权重预取、环境重建和验收脚本。
|
||
- `environment`：独立评分环境的 constraints、pip/conda 快照和验收记录。
|
||
- `results`：944 个视频、主评分、静态过滤、flicker 评分和失败日志归档。
|
||
- `VBENCH_SCORING_ADAPTATIONS.md`：评分阶段问题、根因、修复和复现方式。
|
||
- `ORIGINAL_RUNBOOK.md`：原始运行说明副本。
|
||
|
||
`results/` 只存在于 `/data/wxy/sskj-h3` 服务器归档中，Git 镜像通过 `.gitignore` 排除该目录；评分方案、环境证据和适配文档仍会上传。
|