158 lines
4.9 KiB
Markdown
158 lines
4.9 KiB
Markdown
# EvalScope 评测套件（DeepSeek-V4-Flash-INT8 定制版）
|
||
|
||
本仓库基于 [EvalScope](https://github.com/modelscope/evalscope) 构建，面向 **DeepSeek-V4-Flash-INT8（no-thinking / thinking）** 模型，提供一键化、可断点续跑、可汇总对比的 benchmark 评测能力。
|
||
|
||
---
|
||
|
||
## 1. 仓库定位
|
||
|
||
- **底座**：EvalScope 开源评测框架（本地 editable 安装）。
|
||
- **目标模型**：DeepSeek-V4-Flash-INT8，通过本地 sglang 服务以 OpenAI API 形式调用。
|
||
- **核心产出**：
|
||
- 标准化 benchmark 分数（与 Kimi / GLM / DS 官方对比表对齐）。
|
||
- 每个 benchmark 的详细预测、review、报告 JSON。
|
||
- 汇总 Excel / CSV，含真实运行时间（active time）统计。
|
||
|
||
---
|
||
|
||
## 2. 目录结构
|
||
|
||
```
|
||
/data1/sora/evalscope/
|
||
├── bash/ # 评测入口与辅助脚本
|
||
│ ├── run.py # 统一评测入口（full/lite/mid/group*/official）
|
||
│ ├── collect_results.py # 汇总各 benchmark 分数到 Excel/CSV
|
||
│ ├── perf_backup.py # 断点续跑：备份/恢复 predictions 与 perf
|
||
│ └── pull_swe_bench_images.py # 预拉 SWE-bench Docker 镜像
|
||
├── config/
|
||
│ └── dpv4-int8_nothinking.yaml # 各 benchmark 的 temperature / max_tokens 配置
|
||
├── tools/docker/ # Docker 镜像构建上下文
|
||
│ ├── Dockerfile.py312 # evalscope-complete-py312 镜像定义
|
||
│ ├── bash/ # 构建时内置的入口脚本
|
||
│ └── evalscope/ # 构建时内置的源码
|
||
├── myread.md # 完整使用手册（环境、数据、Docker、参数、结果）
|
||
├── DOCKER_BUILD.md # Docker 镜像构建实录
|
||
└── results/ # 汇总 Excel / CSV 输出目录
|
||
```
|
||
|
||
---
|
||
|
||
## 3. 核心能力
|
||
|
||
### 3.1 统一入口 `bash/run.py`
|
||
|
||
一个脚本跑所有 benchmark：
|
||
|
||
```bash
|
||
python bash/run.py \
|
||
--model DeepSeek-V4-Flash-Int8 \
|
||
--api-url http://localhost:30000/v1 \
|
||
--dataset-dir /data1/sora/evalscope \
|
||
--output-dir /data1/sora/evalscope/output \
|
||
--suite official \
|
||
--limit none
|
||
```
|
||
|
||
支持 suite：
|
||
|
||
| suite | 说明 |
|
||
|-------|------|
|
||
| `full` | 全部 benchmark + multi-run |
|
||
| `lite` | 快速冒烟 |
|
||
| `mid` | 较全子集 |
|
||
| `group1/2/3` | 多机组分组 |
|
||
| `official` | 腾讯入库标准对比表核心子集 |
|
||
|
||
### 3.2 thinking 模式
|
||
|
||
```bash
|
||
# 开启 thinking，max_tokens 按倍数放大
|
||
python bash/run.py --suite official --thinking --thinking-max-tokens-scale 2.0
|
||
|
||
# 或在原 max_tokens 基础上再加 token
|
||
python bash/run.py --suite official --thinking --max-tokens-add 32768
|
||
```
|
||
|
||
### 3.3 输出目录结构
|
||
|
||
```
|
||
output/
|
||
└── {folder_name}/ # 默认 model_name，thinking 时默认 model_name_THINKING
|
||
├── {benchmark}/
|
||
│ └── seed_{seed}/
|
||
│ ├── predictions/
|
||
│ ├── reviews/
|
||
│ ├── reports/{benchmark}.json
|
||
│ └── logs/
|
||
└── active_time/ # 真实运行时间累计
|
||
|
||
results/
|
||
└── {folder_name}.xlsx # 汇总表格
|
||
```
|
||
|
||
### 3.4 断点续跑
|
||
|
||
- 通过 `perf_backup.py` 在每次 benchmark 结束后备份 predictions 和 report。
|
||
- 再次运行同一 benchmark 时自动恢复，避免重复推理。
|
||
- 运行时间通过 `active_time/` 累计，kill 后重启不会把等待时间算进去。
|
||
|
||
---
|
||
|
||
## 4. 快速开始
|
||
|
||
### 4.1 环境（宿主机）
|
||
|
||
```bash
|
||
conda create -n evalscope python=3.12 -y
|
||
conda activate evalscope
|
||
cd /data1/sora/evalscope
|
||
pip install -e ./evalscope
|
||
```
|
||
|
||
### 4.2 数据
|
||
|
||
参考 `myread.md` 第 4 章，从 ModelScope 下载数据集到 `datasets/`。
|
||
|
||
### 4.3 Docker 一键评测
|
||
|
||
```bash
|
||
docker load -i docker/evalscope-complete-py312.tar.gz
|
||
|
||
docker run -it --rm \
|
||
--network host \
|
||
-v /data1/sora/evalscope:/opt/evalscope \
|
||
-v /data1/models:/opt/models \
|
||
-v /var/run/docker.sock:/var/run/docker.sock \
|
||
evalscope-complete-py312:latest \
|
||
bash -c "cd /opt/evalscope && python bash/run.py --suite official --limit none"
|
||
```
|
||
|
||
---
|
||
|
||
## 5. 主要自定义增强
|
||
|
||
相较于上游 EvalScope，本仓库额外增加了：
|
||
|
||
- `--folder-name`：自定义顶层输出文件夹。
|
||
- `--thinking` / `--thinking-max-tokens-scale` / `--max-tokens-add`：支持 thinking 模型评测。
|
||
- `official` suite：对齐腾讯入库标准的 8 个核心 benchmark。
|
||
- `active_time` 机制：更准确地测量 benchmark 真实运行时间。
|
||
- `perf_backup.py`：支持 kill 后断点续跑。
|
||
- `pull_swe_bench_images.py`：支持批量预拉 SWE-bench 镜像。
|
||
|
||
---
|
||
|
||
## 6. 相关文档
|
||
|
||
- 完整使用手册：`myread.md`
|
||
- Docker 构建实录：`DOCKER_BUILD.md`
|
||
- 上游 EvalScope 文档：https://evalscope.readthedocs.io/
|
||
|
||
---
|
||
|
||
## 7. 维护者
|
||
|
||
- 仓库：`git.meta-stone.net/sora/evalstone.git`
|
||
- Docker 镜像：`SoraAmami/evalscope-docker`（ModelScope）
|
||
- 数据集：`SoraAmami/evalscope-datasets`（ModelScope）
|