Seed-TTS-Eval

概述

Seed-TTS-Eval 是一个用于零样本文本到语音（TTS）和语音转换评估的客观基准测试。它使用来自 Common Voice 和 DiDiSpeech-2 的域外英文和中文样本，官方评估重点关注语音可懂度和说话人一致性。

任务描述

任务类型：零样本文本到语音生成
输入：参考说话人音频、提示文本转录和目标文本
输出：使用参考说话人声音合成的目标文本语音音频
语言：英文和中文

评估说明

默认子集：en 和 zh
被评估的 TTS 模型必须返回 ContentAudio 类型的生成音频，或在 completion 文本中返回音频路径、URL 或 data URI
EvalScope 为 HTTP TTS 服务提供 eval_type="text2speech" 配置：
- Volcengine 提供商：配置 model="seed-tts-2.0"、api_url="https://openspeech.bytedance.com/api/v3/tts/unidirectional" 和 model_args={"speaker": "..."}
- OpenAI 提供商：配置 model="tts-1"（或 tts-1-hd）、api_url="https://api.openai.com/v1" 和 model_args={"provider": "openai", "voice": "nova"}
默认指标：audio_wer，该指标通过兼容 OpenAI 的 /audio/transcriptions 端点对生成的音频进行转录，并结合语言特定的归一化计算 WER/CER 风格的错误率
可通过 metric_list 配置 ASR 端点，或设置环境变量 SEED_TTS_EVAL_ASR_API_BASE、SEED_TTS_EVAL_ASR_API_KEY、SEED_TTS_EVAL_ASR_MODEL 和 SEED_TTS_EVAL_ASR_API_PROTOCOL
对于 Volcengine Ark 的 audio-understanding 模型，请设置 api_protocol="responses" 并使用支持音频输入的模型，例如 doubao-seed-2-0-lite-260428
说话人相似度是官方基准测试的一部分，但需要单独的说话人验证后端，默认未启用

属性

属性	值
基准测试名称	`seed_tts_eval`
数据集ID	evalscope/Seed-TTS-Eval
论文	Paper
标签	`Audio`, `TextToSpeech`
指标	`audio_wer`
默认样本数	0-shot
评估划分	`train`

数据统计

指标	值
总样本数	3,108
提示词长度（平均）	243.31 字符
提示词长度（最小/最大）	193 / 376 字符

各子集统计数据：

子集	样本数	提示词平均长度	提示词最小长度	提示词最大长度
`en`	1,088	304.3	224	376
`zh`	2,020	210.46	193	231

音频统计数据：

指标	值
音频文件总数	3,108
每样本音频数量	最小: 1, 最大: 1, 平均: 1
格式	wav

样例示例

子集: en

{
  "input": [
    {
      "id": "ffd452c5",
      "content": [
        {
          "audio": "[BASE64_AUDIO: wav, ~183.0KB]",
          "format": "wav"
        },
        {
          "text": "Use the reference audio and prompt transcript to synthesize the target text in the same speaker voice.\nPrompt transcript: We asked over twenty different people, and they all said it was his.\nTarget text: Get the trust fund to the bank early.\nReturn only the generated audio."
        }
      ]
    }
  ],
  "target": "Get the trust fund to the bank early.",
  "id": 0,
  "group_id": 0,
  "subset_key": "en",
  "metadata": {
    "filename": "common_voice_en_10119832-common_voice_en_10119840",
    "prompt_text": "We asked over twenty different people, and they all said it was his.",
    "text": "Get the trust fund to the bank early.",
    "prompt_audio_path": "prompt-wavs/common_voice_en_10119832.wav",
    "reference_audio_path": "wavs/common_voice_en_10119832-common_voice_en_10119840.wav",
    "language": "en",
    "wer_language": "en"
  }
}

提示模板

提示模板：

Use the reference audio and prompt transcript to synthesize the target text in the same speaker voice.
Prompt transcript: {prompt_text}
Target text: {text}
Return only the generated audio.

使用方法

使用 CLI

evalscope eval \
    --model YOUR_MODEL \
    --api-url OPENAI_API_COMPAT_URL \
    --api-key EMPTY_TOKEN \
    --datasets seed_tts_eval \
    --limit 10  # 正式评估时请删除此行

使用 Python

from evalscope import run_task
from evalscope.config import TaskConfig

task_cfg = TaskConfig(
    model='YOUR_MODEL',
    api_url='OPENAI_API_COMPAT_URL',
    api_key='EMPTY_TOKEN',
    datasets=['seed_tts_eval'],
    dataset_args={
        'seed_tts_eval': {
            # subset_list: ['en', 'zh']  # 可选，评估指定子集
        }
    },
    limit=10,  # 正式评估时请删除此行
)

run_task(task_cfg=task_cfg)

4.7 KiB Raw Permalink Blame History Unescape Escape

Seed-TTS-Eval

概述

任务描述

评估说明

属性

数据统计

样例示例

提示模板

使用方法

使用 CLI

使用 Python

4.7 KiB

Raw Permalink Blame History