# DeepSeek-V4-Flash-INT8 评测经验总结

## 1. 环境配置

### 1.1 硬件
- GPU: 8× P800 OAM, 96GB each (XPU)
- 模型: DeepSeek-V4-Flash-INT8
- 服务: sglang at `http://localhost:30000/v1`
- 上下文长度: 1M tokens (`--context-length 1048576`)

### 1.2 sglang 启动参数
```bash
sglang.launch_server \
  --host 0.0.0.0 --port 30000 \
  --model-path /data1/models/DeepSeek-V4-Flash-INT8 \
  --attention-backend nsa --nsa-prefill klxdsa --nsa-decode klxdsa \
  --trust-remote-code --disable-custom-all-reduce \
  --tensor-parallel-size 8 --ep-size 8 \
  --disable-shared-experts-fusion --page-size 64 \
  --mem-fraction-static 0.75 --quantization w8a8_int8 \
  --kv-cache-dtype float16 --disable-piecewise-cuda-graph \
  --cuda-graph-max-bs 16 --context-length 1048576 \
  --watchdog-timeout 3000000 \
  --tool-call-parser deepseekv4 --reasoning-parser deepseek-v4 \
  --constrained-json-disable-any-whitespace \
  --enable-metrics --enable-request-time-stats-logging
```

### 1.3 Python 环境
- conda env: `evalscope` (Python 3.12)
- 正确路径: `/data1/miniconda3/envs/evalscope/bin/python`
- 注意: `conda run -n evalscope` 会覆盖 PYTHONPATH，导致 ms_enclave 找不到

## 2. 评测脚本

### 2.1 主运行脚本
- `/data1/sora/evalscope/bash/run.py` - 主评测驱动
- `/data1/sora/evalscope/bash/run_limit30.py` - limit=100 快速 benchmark
- `/data1/sora/evalscope/bash/run_swe_bench.py` - swe_bench 系列 (limit=3)
- `/data1/sora/evalscope/bash/auto_run.py` - 自动顺序运行
- `/data1/sora/evalscope/bash/run_longbench_oom_test.py` - 长文本 OOM 测试

### 2.2 配置文件
- `/data1/sora/evalscope/bash/dpv4-int8_nothinking.yaml` - 各数据集生成配置

### 2.3 关键参数
```python
# run.py 顶部可调参数
DATASETS = [...]          # 要评测的数据集列表
ENABLE_THINKING = False   # 是否启用 thinking 模式
BATCH_SIZE_LIST = [4]     # 评测 batch size
LIMIT = 10                # 每个子集最大样本数 (None=全部)
SEED = 42                 # 随机种子
SHUFFLE = True            # 是否打乱样本
```

## 3. 各数据集配置

### 3.1 温度设置
- 所有数据集: `temperature: 0.0`（确定性输出）
- temperature=1.0 需要多次运行取平均

### 3.2 max_tokens 设置
| 类别 | 数据集 | max_tokens |
|------|--------|-----------|
| 代码/工程 | terminal_bench_v2 | 262144 |
| 代码/工程 | live_code_bench, bigcodebench, humaneval | 32768-16384 |
| 推理/数学 | aime24/25/26, hmmt26, competition_math, gsm8k | 32768 |
| 推理/数学 | imo_answerbench | 98304 |
| 推理/数学 | gpqa_diamond, hle, super_gpqa | 8192 |
| 知识 | mmlu_pro, simple_qa, arc, bbh, cmmlu, drop, hellaswag, mmlu, trivia_qa, winogrande | 8192-32768 |
| 长上下文 | longbench_v2, openai_mrcr | 8192 |
| 智能体/工具 | browsecomp, mcp_atlas, tau2_bench | 16384-32768 |
| 智能体/工具 | swe_bench 系列 | 32768 |

### 3.3 Agent 配置
- swe_bench 系列: `max_steps: 300`
- tau2_bench: `max_steps: 50`
- terminal_bench_v2: `max_turns: 300`, `timeout_multiplier: 6.0` (1小时)

### 3.4 沙箱配置
```python
# 需要沙箱的数据集
SANDBOX_DATASETS = {'humaneval', 'bigcodebench'}

# 沙箱配置
SandboxTaskConfig(
    enabled=True,
    engine='docker',
    default_config={
        'image': 'python:3.11-slim',
        'tools_config': {
            'shell_executor': {},
            'python_executor': {}
        }
    }
)
```

## 4. 长文本截断

### 4.1 当前配置
```python
TRUNCATION_CONFIG = {
    'longbench_v2': 32768*4,   # 131072 tokens (128K)
    'openai_mrcr': 32768*4,    # 131072 tokens (128K)
}
```

### 4.2 截断方式
- Middle-truncation: 保留头部和尾部，截断中间
- 适用于长上下文 benchmark，保留问题和上下文的关键部分

### 4.3 OOM 测试
- 测试脚本: `run_longbench_oom_test.py`
- 测试 limit: 128K, 256K, 512K, 1M
- 输出目录: `output_longbench_128k/`, `output_longbench_256k/` 等

## 5. Docker 镜像

### 5.1 需要预拉的镜像
```bash
# 代码评测
docker pull docker.1ms.run/bigcodebench/bigcodebench-evaluate:latest

# Python 沙箱
docker pull python:3.11-slim
```

### 5.2 按样本拉取的镜像（无法预准备）
- **swe_bench 系列**: 每个样本需要不同的 `jefzda/sweap-images:{tag}`
  - 每个镜像 2-5GB
  - limit=3 需要 ~10GB
  - 完整 500 样本需要 ~1.75TB（不现实）
  - 建议: limit=1-3 或跳过

- **terminal_bench_v2**: 使用统一基础镜像，但任务环境不同
  - 镜像在运行时自动构建/拉取
  - 超时问题常见，需要 `timeout_multiplier: 6.0`

### 5.3 镜像源
- Docker Hub 被墙，使用镜像站:
  - `docker.1ms.run`
  - `docker.m.daocloud.io`
  - `docker.1panel.dev`

### 5.4 磁盘空间管理
- sglang 镜像: ~58GB（不能删）
- bigcodebench: ~25GB（跑完可删）
- sweap-images: ~21GB（按需删除）
- terminal_bench: ~2GB（可删）

## 6. 常见问题与解决方案

### 6.1 tau2_bench 空响应问题
**问题**: `UserMessage must have either content or tool_calls`
**解决**: 修改 `tau2-bench/src/tau2/user/user_simulator.py`，增加重试逻辑:
```python
max_retries = 5
for attempt in range(max_retries):
    assistant_message = generate(...)
    user_response = assistant_message.content
    if user_response and user_response.strip():
        break
    if attempt < max_retries - 1:
        logger.warning(f"Empty response, retrying...")
```

### 6.2 terminal_bench_v2 超时问题
**问题**: `EnvironmentStartTimeoutError: Environment start timed out after 600.0 seconds`
**解决**: 增加 `timeout_multiplier: 6.0` (1小时)

### 6.3 swe_bench 镜像拉取慢
**问题**: 网络慢，镜像大，磁盘满
**解决**: 
- 使用国内镜像站
- 限制 limit=1-3
- 定期清理 Docker 镜像

### 6.4 模型服务重启
**问题**: sglang 服务可能崩溃
**解决**: `/data1/restart_model_service.sh`

## 7. 结果提取与报告

### 7.1 提取脚本
- `/data1/sora/evalscope/bash/extract_results.py`
- 从 JSON 报告提取 score、perf metrics、percentiles

### 7.2 Excel 报告
- `/data1/sora/P800模型能力评测结果_updated.xlsx`
- 包含: score, 时间, tokens, TTFT/TPOT percentiles

### 7.3 结果合并策略
- 优先使用 `output_limit100/` 的结果（样本更多）
- 然后使用 `output_swe_bench/` 的结果
- 最后使用 `output/` 的结果

## 8. 评测策略建议

### 8.1 快速评测 (1天)
- 使用 limit=100 跑快速 benchmark
- 跳过 swe_bench 系列
- 长文本使用 128K 截断

### 8.2 完整评测 (1周+)
- 所有 benchmark 全量运行
- swe_bench limit=3-5
- 长文本测试 256K/512K/1M 边界

### 8.3 关键 benchmark
- **推理/数学**: aime24/25/26, competition_math, gpqa_diamond
- **代码**: humaneval, live_code_bench, bigcodebench
- **知识**: mmlu, mmlu_pro, cmmlu
- **长文本**: longbench_v2, openai_mrcr
- **智能体**: browsecomp, tau2_bench

## 9. 文件清单

```
/data1/sora/evalscope/bash/
├── run.py                      # 主运行脚本
├── run_limit30.py              # limit=100 快速运行
├── run_swe_bench.py            # swe_bench 系列
├── auto_run.py                 # 自动顺序运行
├── run_longbench_oom_test.py   # 长文本 OOM 测试
├── extract_results.py          # 结果提取
├── dpv4-int8_nothinking.yaml   # 数据集配置
├── generate_excel.py           # Excel 生成
├── generate_dashboard.py       # Dashboard 生成

/data1/sora/evalscope/output/              # 主输出目录
/data1/sora/evalscope/output_limit100/     # limit=100 输出
/data1/sora/evalscope/output_swe_bench/    # swe_bench 输出
/data1/sora/evalscope/output_longbench_*/  # 长文本测试输出

/data1/sora/P800模型能力评测结果_updated.xlsx  # Excel 报告
```

## 10. 运行命令汇总

```bash
# 激活环境
source /data1/miniconda3/bin/activate evalscope

# 运行主评测
python /data1/sora/evalscope/bash/run.py

# 运行 limit=100 快速评测
python /data1/sora/evalscope/bash/run_limit30.py

# 运行 swe_bench
python /data1/sora/evalscope/bash/run_swe_bench.py

# 自动顺序运行
python /data1/sora/evalscope/bash/auto_run.py

# 长文本 OOM 测试
python /data1/sora/evalscope/bash/run_longbench_oom_test.py

# 提取结果
python /data1/sora/evalscope/bash/extract_results.py

# 重启模型服务
bash /data1/restart_model_service.sh
```