46e79d63e7
- platforms/ascend_910c.env: 8-card 910C config (16 dies, 64GB HBM/die), Ascend Docker Runtime, ASCEND_VISIBLE_DEVICES device selection - scripts/common/platform.sh: auto-detect 910C via npu-smi + Huawei PCI IDs - scripts/common/npu_smi_sampler.py: standalone npu-smi -> nvidia-smi CSV sampler so parse_backend.py needs no changes - experiments/910c/glm52_910c_vllm_tp_dp_matrix/: GLM-5.2 (w4a8c8) experiment, model present on host, ready for smoke after image load - experiments/910c/dsv4_910c_vllm_tp_dp_matrix/: DSV4-Flash experiment (placeholder MODEL_PATH, weights not yet downloaded) - envs/ASCEND_910C_ENV_SETUP.md: full onboarding guide (permissions, image load, Ascend Docker Runtime, NPU monitor, known pitfalls) - Both experiments: TP2/DP4 + TP4/DP2 + TP8/DP1, matrix.json capped at 128K context per 64GB HBM/die
46 lines
1.7 KiB
Markdown
46 lines
1.7 KiB
Markdown
|
||
# envs 目录说明
|
||
|
||
本目录用于存放**环境搭建相关的文档和指南**，不包括具体的虚拟环境或容器镜像文件。
|
||
|
||
## 目录结构
|
||
|
||
```
|
||
envs/
|
||
├── README.md # 本说明文件
|
||
├── UV_ENV_SETUP.md # uv 虚拟环境搭建规范
|
||
├── SM120_DSV4_DEPLOYMENT_GUIDE.md # SM120 (RTX 6000D) 部署 DSV4 指南
|
||
└── <future guides> # 其他平台/环境的部署文档
|
||
```
|
||
|
||
## 使用规范
|
||
|
||
1. **文档放这里**：与建立环境、部署模型、修复平台兼容性相关的文档，应放到 `envs/` 目录下。
|
||
2. **环境不放这里**：具体的 uv venv、conda env、Docker 镜像构建产物等，**不应**提交到 git。请在对应环境的 `.gitignore` 中排除。
|
||
3. **命名规范**：`{平台}_{模型或框架}_DEPLOYMENT_GUIDE.md` 或 `{框架}_{平台}_FIX.md`。
|
||
4. **内容要求**：
|
||
- 环境信息（GPU、CUDA、驱动版本）
|
||
- 问题现象与错误日志
|
||
- 根因分析
|
||
- 解决步骤（含具体命令或代码修改）
|
||
- 验证结果
|
||
|
||
## 现有文档
|
||
|
||
| 文档 | 说明 |
|
||
|---|---|
|
||
| `UV_ENV_SETUP.md` | uv 虚拟环境搭建规范，含 vLLM 和 SGLang 的标准安装命令 |
|
||
| `SM120_DSV4_DEPLOYMENT_GUIDE.md` | RTX 6000D (SM120) 上部署 DeepSeek-V4-Flash 的完整指南，含 vLLM 和 SGLang 的适配步骤 |
|
||
| `ASCEND_910C_ENV_SETUP.md` | 昇腾 910C NPU 上搭建 vLLM-Ascend 环境与部署指南，含权限、镜像加载、NPU 监控适配 |
|
||
|
||
## 排除的环境目录（已加入 .gitignore）
|
||
|
||
以下子目录包含具体的虚拟环境文件，不应提交：
|
||
|
||
- `modelscope-hub/`
|
||
- `modelscope-upload/`
|
||
- `sglang/`
|
||
- `sglang-src/`
|
||
- `vllm/`
|
||
- `charts/`（matplotlib 绘图环境，用于生成性能报告图表）
|