34 lines
1.4 KiB
Markdown
34 lines
1.4 KiB
Markdown
# 推理服务 SLO 标准
|
||
|
||
> 记录各模型层级（Tier）的延迟目标。TTFT 以 **P95** 为主要关注指标。
|
||
|
||
## 模型层级定义
|
||
|
||
| 层级 | 名称 | 参数规模 | 典型模型 | 应用场景 | 核心目标 |
|
||
|---|---|---|---|---|---|
|
||
| S0 | 轻量层 | < 30B | Llama 3.1 8B Instruct | 高并发轻推理 | 高并发轻推理 |
|
||
| S1 | 实时交互层 | [30B, 100B) | Llama 3.3 70B Instruct | Chat / Copilot / Agent | 极低延迟 |
|
||
| S2 | 均衡服务层 | [100B, 500B) | DeepSeek V4 Flash、MiniMax M2.7 | 企业 API | 性价比平衡 |
|
||
| S3 | 深度推理层 | [500B, 1T) | DeepSeek V3.2 | 高复杂推理 | 稳定吞吐 |
|
||
| S4 | 超级推理层 | ≥ 1T | DS V4 Pro | 深度思考 | 智能优先 |
|
||
|
||
## TTFT SLO（P95 为主要关注指标）
|
||
|
||
| 指标 | S0 | S1 | S2 | S3 | S4 |
|
||
|---|---|---|---|---|---|
|
||
| P50 | < 500ms | < 800ms | < 1.5s | < 2s | < 1.5s |
|
||
| P95 | < 0.4s | < 1s | < 3s | < 5s | < 3s |
|
||
|
||
## TPOT SLO
|
||
|
||
| 指标 | S0 | S1 | S2 | S3 | S4 |
|
||
|---|---|---|---|---|---|
|
||
| TPOT | < 20ms | < 40ms | < 50ms | < 50ms | < 50ms |
|
||
|
||
## 说明
|
||
|
||
- **TTFT**（Time To First Token）：从请求到达服务端到首个 token 返回的延迟。
|
||
- **TPOT**（Time Per Output Token）：除首 token 外，平均每输出一个 token 的耗时。
|
||
- 当前重点关注 **TTFT P95**，即 95% 请求的 TTFT 应满足对应层级的阈值。
|
||
- _benchmark 输出应同时给出 P50 / P90 / P95 / P99 TTFT，但评估以 P95 为准。_
|