Rewrite README.md to focus on code and scripts, not model-specific customization
This commit is contained in:
sora
parent
e9f7940c20
commit
6aacfc14bf
178
README.md
178
README.md
@ -1,47 +1,39 @@
|
||||
# EvalScope 评测套件（DeepSeek-V4-Flash-INT8 定制版）
|
||||
# EvalScope 评测脚本与配置
|
||||
|
||||
本仓库基于 [EvalScope](https://github.com/modelscope/evalscope) 构建，面向 **DeepSeek-V4-Flash-INT8（no-thinking / thinking）** 模型，提供一键化、可断点续跑、可汇总对比的 benchmark 评测能力。
|
||||
本仓库包含一组基于 [EvalScope](https://github.com/modelscope/evalscope) 的评测脚本、配置和辅助工具，用于通过 OpenAI-compatible API 统一运行各类 LLM benchmark。
|
||||
|
||||
代码本身与具体模型无关，当前默认配置以 `DeepSeek-V4-Flash-INT8` 为例，可通过命令行参数或配置文件切换到其他模型。
|
||||
|
||||
---
|
||||
|
||||
## 1. 仓库定位
|
||||
|
||||
- **底座**：EvalScope 开源评测框架（本地 editable 安装）。
|
||||
- **目标模型**：DeepSeek-V4-Flash-INT8，通过本地 sglang 服务以 OpenAI API 形式调用。
|
||||
- **核心产出**：
|
||||
- 标准化 benchmark 分数（与 Kimi / GLM / DS 官方对比表对齐）。
|
||||
- 每个 benchmark 的详细预测、review、报告 JSON。
|
||||
- 汇总 Excel / CSV，含真实运行时间（active time）统计。
|
||||
|
||||
---
|
||||
|
||||
## 2. 目录结构
|
||||
## 1. 代码组成
|
||||
|
||||
```
|
||||
/data1/sora/evalscope/
|
||||
├── bash/ # 评测入口与辅助脚本
|
||||
│ ├── run.py # 统一评测入口（full/lite/mid/group*/official）
|
||||
│ ├── collect_results.py # 汇总各 benchmark 分数到 Excel/CSV
|
||||
│ ├── perf_backup.py # 断点续跑：备份/恢复 predictions 与 perf
|
||||
│ └── pull_swe_bench_images.py # 预拉 SWE-bench Docker 镜像
|
||||
├── bash/ # 可执行脚本
|
||||
│ ├── run.py # 统一 benchmark 入口
|
||||
│ ├── collect_results.py # 汇总分数到 Excel/CSV
|
||||
│ ├── perf_backup.py # 断点续跑：备份与恢复 predictions/perf
|
||||
│ ├── pull_swe_bench_images.py # 预拉 SWE-bench Docker 镜像
|
||||
│ └── test.sh # 本地测试脚本示例
|
||||
├── config/
|
||||
│ └── dpv4-int8_nothinking.yaml # 各 benchmark 的 temperature / max_tokens 配置
|
||||
├── tools/docker/ # Docker 镜像构建上下文
|
||||
│ ├── Dockerfile.py312 # evalscope-complete-py312 镜像定义
|
||||
│ ├── bash/ # 构建时内置的入口脚本
|
||||
│ └── evalscope/ # 构建时内置的源码
|
||||
├── myread.md # 完整使用手册（环境、数据、Docker、参数、结果）
|
||||
├── DOCKER_BUILD.md # Docker 镜像构建实录
|
||||
└── results/ # 汇总 Excel / CSV 输出目录
|
||||
│ └── dpv4-int8_nothinking.yaml # benchmark 生成参数配置
|
||||
├── tools/docker/ # Docker 构建上下文（仅构建产物，不含运行镜像）
|
||||
│ ├── Dockerfile.py312
|
||||
│ ├── bash/
|
||||
│ ├── evalscope/
|
||||
│ └── tau2-bench/
|
||||
├── myread.md # 详细使用手册
|
||||
└── DOCKER_BUILD.md # Docker 镜像构建说明
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 3. 核心能力
|
||||
## 2. 核心脚本
|
||||
|
||||
### 3.1 统一入口 `bash/run.py`
|
||||
### 2.1 `bash/run.py`
|
||||
|
||||
一个脚本跑所有 benchmark：
|
||||
统一的 benchmark 启动入口，支持 suite、自定义 datasets、thinking 模式、输出目录组织等。
|
||||
|
||||
```bash
|
||||
python bash/run.py \
|
||||
@ -53,54 +45,68 @@ python bash/run.py \
|
||||
--limit none
|
||||
```
|
||||
|
||||
支持 suite：
|
||||
主要特性：
|
||||
|
||||
| suite | 说明 |
|
||||
|-------|------|
|
||||
| `full` | 全部 benchmark + multi-run |
|
||||
| `lite` | 快速冒烟 |
|
||||
| `mid` | 较全子集 |
|
||||
| `group1/2/3` | 多机组分组 |
|
||||
| `official` | 腾讯入库标准对比表核心子集 |
|
||||
- `--suite`：预置 `full` / `lite` / `mid` / `group1` / `group2` / `group3` / `official`
|
||||
- `--datasets`：覆盖 suite，逗号分隔自定义 benchmark
|
||||
- `--thinking` / `--thinking-max-tokens-scale` / `--max-tokens-add`：支持 thinking 模型
|
||||
- `--folder-name`：自定义输出顶层文件夹名
|
||||
- 自动生成汇总 Excel 到 `results/{folder_name}.xlsx`
|
||||
|
||||
### 3.2 thinking 模式
|
||||
### 2.2 `bash/collect_results.py`
|
||||
|
||||
```bash
|
||||
# 开启 thinking，max_tokens 按倍数放大
|
||||
python bash/run.py --suite official --thinking --thinking-max-tokens-scale 2.0
|
||||
读取 `output/{folder_name}/{benchmark}/seed_{seed}/reports/*.json`，汇总成：
|
||||
|
||||
# 或在原 max_tokens 基础上再加 token
|
||||
python bash/run.py --suite official --thinking --max-tokens-add 32768
|
||||
```
|
||||
- `results/{folder_name}.xlsx`
|
||||
- `results/{folder_name}.csv`
|
||||
|
||||
### 3.3 输出目录结构
|
||||
由 `run.py` 在每个 benchmark 结束后自动调用，也可单独运行。
|
||||
|
||||
### 2.3 `bash/perf_backup.py`
|
||||
|
||||
实现断点续跑：
|
||||
|
||||
- 每次 benchmark 完成后把 `predictions/` 和 report JSON 备份到 durable 目录。
|
||||
- 再次运行同一 benchmark 前自动恢复到 `work_dir`，避免重复推理。
|
||||
- 记录 `active_time`，kill 后重启不会重复计算等待时间。
|
||||
|
||||
### 2.4 `bash/pull_swe_bench_images.py`
|
||||
|
||||
根据数据集实例批量预拉 SWE-bench 评测所需的 Docker 镜像，支持：
|
||||
|
||||
- `--dataset`：指定 `swe_bench_verified` / `swe_bench_lite` 等
|
||||
- `--max-workers`：控制并发数
|
||||
- 国内源加载数据集元数据
|
||||
|
||||
### 2.5 `config/dpv4-int8_nothinking.yaml`
|
||||
|
||||
各 benchmark 的 `temperature`、`top_p`、`max_tokens`、`subset_list`、`agent_config` 等参数。未在此文件中的 benchmark 会回退到 `run.py` 里的默认生成参数。
|
||||
|
||||
---
|
||||
|
||||
## 3. 输出目录约定
|
||||
|
||||
```
|
||||
output/
|
||||
└── {folder_name}/ # 默认 model_name，thinking 时默认 model_name_THINKING
|
||||
├── {benchmark}/
|
||||
│ └── seed_{seed}/
|
||||
│ ├── predictions/
|
||||
│ ├── reviews/
|
||||
│ ├── reports/{benchmark}.json
|
||||
│ └── logs/
|
||||
│ ├── seed_{seed}/
|
||||
│ │ ├── predictions/
|
||||
│ │ ├── reviews/
|
||||
│ │ ├── reports/{benchmark}.json
|
||||
│ │ └── logs/
|
||||
│ └── seed_{seed}_run_{n}/ # multi-run 数据集的第 n 次运行
|
||||
└── active_time/ # 真实运行时间累计
|
||||
|
||||
results/
|
||||
└── {folder_name}.xlsx # 汇总表格
|
||||
└── {folder_name}.xlsx
|
||||
```
|
||||
|
||||
### 3.4 断点续跑
|
||||
|
||||
- 通过 `perf_backup.py` 在每次 benchmark 结束后备份 predictions 和 report。
|
||||
- 再次运行同一 benchmark 时自动恢复，避免重复推理。
|
||||
- 运行时间通过 `active_time/` 累计，kill 后重启不会把等待时间算进去。
|
||||
|
||||
---
|
||||
|
||||
## 4. 快速开始
|
||||
|
||||
### 4.1 环境（宿主机）
|
||||
### 4.1 安装依赖
|
||||
|
||||
```bash
|
||||
conda create -n evalscope python=3.12 -y
|
||||
@ -109,49 +115,37 @@ cd /data1/sora/evalscope
|
||||
pip install -e ./evalscope
|
||||
```
|
||||
|
||||
### 4.2 数据
|
||||
|
||||
参考 `myread.md` 第 4 章，从 ModelScope 下载数据集到 `datasets/`。
|
||||
|
||||
### 4.3 Docker 一键评测
|
||||
### 4.2 运行单个 benchmark
|
||||
|
||||
```bash
|
||||
docker load -i docker/evalscope-complete-py312.tar.gz
|
||||
python bash/run.py --datasets gsm8k --limit 50
|
||||
```
|
||||
|
||||
docker run -it --rm \
|
||||
--network host \
|
||||
-v /data1/sora/evalscope:/opt/evalscope \
|
||||
-v /data1/models:/opt/models \
|
||||
-v /var/run/docker.sock:/var/run/docker.sock \
|
||||
evalscope-complete-py312:latest \
|
||||
bash -c "cd /opt/evalscope && python bash/run.py --suite official --limit none"
|
||||
### 4.3 运行 suite
|
||||
|
||||
```bash
|
||||
python bash/run.py --suite official --limit none
|
||||
```
|
||||
|
||||
详细参数见 `myread.md` 或：
|
||||
|
||||
```bash
|
||||
python bash/run.py --help
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 5. 主要自定义增强
|
||||
## 5. 设计说明
|
||||
|
||||
相较于上游 EvalScope，本仓库额外增加了：
|
||||
|
||||
- `--folder-name`：自定义顶层输出文件夹。
|
||||
- `--thinking` / `--thinking-max-tokens-scale` / `--max-tokens-add`：支持 thinking 模型评测。
|
||||
- `official` suite：对齐腾讯入库标准的 8 个核心 benchmark。
|
||||
- `active_time` 机制：更准确地测量 benchmark 真实运行时间。
|
||||
- `perf_backup.py`：支持 kill 后断点续跑。
|
||||
- `pull_swe_bench_images.py`：支持批量预拉 SWE-bench 镜像。
|
||||
- **模型无关**：`run.py` 通过 `--model` / `--api-url` 接入任意 OpenAI-compatible 服务。
|
||||
- **配置可覆盖**：YAML 配置 + 命令行参数，未配置的 benchmark 自动使用默认生成参数。
|
||||
- **可恢复**：基于 `perf_backup.py`，适合长时间评测任务在 kill/中断后继续。
|
||||
- **可汇总**：基于 `collect_results.py`，自动产出可对比的 Excel/CSV。
|
||||
|
||||
---
|
||||
|
||||
## 6. 相关文档
|
||||
|
||||
- 完整使用手册：`myread.md`
|
||||
- Docker 构建实录：`DOCKER_BUILD.md`
|
||||
- 上游 EvalScope 文档：https://evalscope.readthedocs.io/
|
||||
|
||||
---
|
||||
|
||||
## 7. 维护者
|
||||
|
||||
- 仓库：`git.meta-stone.net/sora/evalstone.git`
|
||||
- Docker 镜像：`SoraAmami/evalscope-docker`（ModelScope）
|
||||
- 数据集：`SoraAmami/evalscope-datasets`（ModelScope）
|
||||
- 详细使用手册：`myread.md`
|
||||
- Docker 构建说明：`DOCKER_BUILD.md`
|
||||
- 上游 EvalScope：https://github.com/modelscope/evalscope
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user