evalstone/evalscope/docs/zh/benchmarks/videomme_v2.md

Video-MME-v2

概述

Video-MME-v2 是一个公开的综合性视频理解基准测试。它包含 800 个视频、3,200 个多选问答样本，以及带有时间戳的词级字幕。该基准测试的原生适配器使用共享的 DatasetHub 抽象来加载标注数据并可选地下载媒体归档文件，因此其复用了与 MVBench 相同的可重用视频基准测试路径。

任务描述

• 任务类型：视频多选问答（MCQ）
• 输入：视频 URL 或归档的 MP4 文件 + 问题 + 答案选项
• 输出：单个正确答案字母
• 子集：all、level_1、level_2、level_3、logic、relevance

评估说明

• 默认配置使用 0-shot 评估
• 主要指标：准确率（Accuracy）
• 默认视频源为公开的 url 字段，用于轻量级冒烟测试
• 将 extra_params.video_source 设置为 archive 以下载并使用官方 MP4 归档文件
• 将 extra_params.use_subtitles 设置为 true 以在提示中包含词级字幕

属性

属性	值
基准测试名称	videomme_v2
数据集ID	MME-Benchmarks/Video-MME-v2
论文	Paper
标签	MCQ, MultiModal
指标	acc
默认示例数	0-shot
评估划分	test

数据统计

指标	值
总样本数	3,200

各子集统计信息：

子集	样本数	提示词平均长度	提示词最小长度	提示词最大长度
all	3,200	N/A	N/A	N/A
level_1	686	N/A	N/A	N/A
level_2	834	N/A	N/A	N/A
level_3	837	N/A	N/A	N/A
logic	1,124	N/A	N/A	N/A
relevance	2,076	N/A	N/A	N/A

样例示例

样例示例不可用。

提示模板

提示模板：

Answer the following multiple choice question. The last line of your response should be of the following format: 'ANSWER: [LETTER]' (without quotes) where [LETTER] is one of {letters}. Think step by step before answering.

{question}

{choices}

额外参数

参数	类型	默认值	描述
dataset_id	str	MME-Benchmarks/Video-MME-v2	Video-MME-v2 的数据集仓库 ID 或本地数据集根目录。
dataset_hub	str	modelscope	用于加载标注、字幕和可选视频归档的 dataset hub。选项：['huggingface', 'modelscope', 'local']
dataset_revision	str	``	可选的数据集版本；留空则使用 hub 默认版本。
video_source	str	url	使用公开 URL 字段进行轻量级测试，或使用官方归档的 MP4 文件。选项：['url', 'archive']
use_subtitles	bool	False	在提示中包含 Video-MME-v2 的字幕文本。
subtitle_word_limit	int	512	启用字幕时，每个样本最多包含的字幕词数。

使用方法

使用 CLI

evalscope eval \
    --model YOUR_MODEL \
    --api-url OPENAI_API_COMPAT_URL \
    --api-key EMPTY_TOKEN \
    --datasets videomme_v2 \
    --limit 10  # 正式评估时请删除此行

使用 Python

from evalscope import run_task
from evalscope.config import TaskConfig

task_cfg = TaskConfig(
    model='YOUR_MODEL',
    api_url='OPENAI_API_COMPAT_URL',
    api_key='EMPTY_TOKEN',
    datasets=['videomme_v2'],
    dataset_args={
        'videomme_v2': {
            # subset_list: ['all', 'level_1', 'level_2']  # 可选，用于评估特定子集
            # extra_params: {}  # 使用默认额外参数
        }
    },
    limit=10,  # 正式评估时请删除此行
)

run_task(task_cfg=task_cfg)