sora 13274243a0 Bump vendored EvalScope and add K3-ready DPV4 configs.

Keep K3 suite selection and report-schema scoring in bash, merge K3/vision dataset_args into dpv4 yamls, and pin EvalScope at 735d920ee911 with local patches.

Co-authored-by: Cursor <cursoragent@cursor.com>

2026-09-02 07:30:48 +00:00

4.0 KiB

Raw Permalink Blame History

HellaSwag-Hindi

概述

HellaSwag-Hindi 是 HellaSwag 常识句子补全基准测试完整验证集的印地语翻译版本。其中上下文主干保持英文不变，四个候选续写选项被翻译为印地语，因此模型需要将一个英文场景与其最合理的印地语结尾相匹配。该数据集源自 ai4bharat/hellaswag-translated（规范名称；旧 ID ai4bharat/hellaswag-hi 会重定向至此），与 lighteval 的 community_hellaswag_hin 任务所使用的数据集相同。

任务描述

任务类型：常识句子补全（混合语言）
输入：一个英文上下文句子，附带四个印地语候选续写选项
输出：正确答案的字母
覆盖范围：完整的 HellaSwag 验证集（10,042 个样例）

主要特性

完整的 HellaSwag 验证集：包含 10,042 个带有标准答案标签的样例
英文上下文主干与印地语翻译的候选结尾配对（混合语言设置）
与 lighteval 的 community_hellaswag_hin 任务套件使用相同的数据集

评估说明

默认配置采用 0-shot 评估（使用验证集，这是唯一提供标准答案标签的划分 —— HellaSwag 的 test 划分不包含标准答案）
默认从 ModelScope 加载（镜像为 ai4bharat/hellaswag-translated），无需访问令牌

属性

属性	值
基准测试名称	`hellaswag_hi`
数据集ID	ai4bharat/hellaswag-translated
论文	无
标签	`MCQ`, `Reasoning`
指标	`accuracy`
默认示例数	0-shot
评估划分	`validation`

数据统计

指标	值
总样本数	10,042
提示词长度（平均）	1021.77 字符
提示词长度（最小/最大）	367 / 1977 字符

样例示例

子集: hi

{
  "input": [
    {
      "id": "f96132ec",
      "content": "Answer the following multiple choice question. The entire content of your response should be of the following format: 'ANSWER: [LETTER]' (without quotes) where [LETTER] is one of A,B,C,D.\n\nA man is sitting on a roof. he\n\nA) वह स्की की एक जोड़ी को लपेटने के लिए रैप का उपयोग कर रहा है।\nB) यह स्तर की टाइलों को चीर रहा है।\nC) वह एक रूबिक क्यूब पकड़े हुए है।\nD) एक छत पर छत खींचना शुरू करता है।"
    }
  ],
  "choices": [
    "वह स्की की एक जोड़ी को लपेटने के लिए रैप का उपयोग कर रहा है।",
    "यह स्तर की टाइलों को चीर रहा है।",
    "वह एक रूबिक क्यूब पकड़े हुए है।",
    "एक छत पर छत खींचना शुरू करता है।"
  ],
  "target": "D",
  "id": 0,
  "group_id": 0,
  "metadata": {
    "activity_label": "Roof shingle removal"
  }
}

提示模板

提示模板：

Answer the following multiple choice question. The entire content of your response should be of the following format: 'ANSWER: [LETTER]' (without quotes) where [LETTER] is one of {letters}.

{question}

{choices}

使用方法

使用 CLI

evalscope eval \
    --model YOUR_MODEL \
    --api-url OPENAI_API_COMPAT_URL \
    --api-key EMPTY_TOKEN \
    --datasets hellaswag_hi \
    --limit 10  # 正式评估时请删除此行

使用 Python

from evalscope import run_task
from evalscope.config import TaskConfig

task_cfg = TaskConfig(
    model='YOUR_MODEL',
    api_url='OPENAI_API_COMPAT_URL',
    api_key='EMPTY_TOKEN',
    datasets=['hellaswag_hi'],
    limit=10,  # 正式评估时请删除此行
)

run_task(task_cfg=task_cfg)

4.0 KiB Raw Permalink Blame History Unescape Escape