qqtang/sskj
1
3
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
sskj/envs/README.md
shishi 46e79d63e7 feat(platform): add Ascend 910C NPU platform support 
- platforms/ascend_910c.env: 8-card 910C config (16 dies, 64GB HBM/die),
  Ascend Docker Runtime, ASCEND_VISIBLE_DEVICES device selection
- scripts/common/platform.sh: auto-detect 910C via npu-smi + Huawei PCI IDs
- scripts/common/npu_smi_sampler.py: standalone npu-smi -> nvidia-smi CSV
  sampler so parse_backend.py needs no changes
- experiments/910c/glm52_910c_vllm_tp_dp_matrix/: GLM-5.2 (w4a8c8) experiment,
  model present on host, ready for smoke after image load
- experiments/910c/dsv4_910c_vllm_tp_dp_matrix/: DSV4-Flash experiment
  (placeholder MODEL_PATH, weights not yet downloaded)
- envs/ASCEND_910C_ENV_SETUP.md: full onboarding guide (permissions, image
  load, Ascend Docker Runtime, NPU monitor, known pitfalls)
- Both experiments: TP2/DP4 + TP4/DP2 + TP8/DP1, matrix.json capped at 128K
  context per 64GB HBM/die
2026-07-27 22:00:05 +08:00

1.7 KiB
Raw Blame History

envs 目录说明

本目录用于存放环境搭建相关的文档和指南，不包括具体的虚拟环境或容器镜像文件。

目录结构

envs/
├── README.md                          # 本说明文件
├── UV_ENV_SETUP.md                    # uv 虚拟环境搭建规范
├── SM120_DSV4_DEPLOYMENT_GUIDE.md     # SM120 (RTX 6000D) 部署 DSV4 指南
└── <future guides>                    # 其他平台/环境的部署文档

使用规范

  1. 文档放这里：与建立环境、部署模型、修复平台兼容性相关的文档，应放到 envs/ 目录下。
  2. 环境不放这里：具体的 uv venv、conda env、Docker 镜像构建产物等，不应提交到 git。请在对应环境的 .gitignore 中排除。
  3. 命名规范：{平台}_{模型或框架}_DEPLOYMENT_GUIDE.md 或 {框架}_{平台}_FIX.md。
  4. 内容要求：
    • 环境信息（GPU、CUDA、驱动版本）
    • 问题现象与错误日志
    • 根因分析
    • 解决步骤（含具体命令或代码修改）
    • 验证结果

现有文档

文档 说明
UV_ENV_SETUP.md uv 虚拟环境搭建规范，含 vLLM 和 SGLang 的标准安装命令
SM120_DSV4_DEPLOYMENT_GUIDE.md RTX 6000D (SM120) 上部署 DeepSeek-V4-Flash 的完整指南，含 vLLM 和 SGLang 的适配步骤
ASCEND_910C_ENV_SETUP.md 昇腾 910C NPU 上搭建 vLLM-Ascend 环境与部署指南，含权限、镜像加载、NPU 监控适配

排除的环境目录（已加入 .gitignore）

以下子目录包含具体的虚拟环境文件，不应提交：

  • modelscope-hub/
  • modelscope-upload/
  • sglang/
  • sglang-src/
  • vllm/
  • charts/（matplotlib 绘图环境，用于生成性能报告图表）