- Add envs/UV_ENV_SETUP.md with standard commands for creating vLLM and SGLang virtual environments using uv. - Configure UV_CACHE_DIR under envs/ to avoid polluting home directory. - Include cu129-specific reinstall steps for SGLang kernel packages. - Update envs/README.md to reference the new guide.
envs 目录说明
本目录用于存放环境搭建相关的文档和指南,不包括具体的虚拟环境或容器镜像文件。
目录结构
envs/
├── README.md # 本说明文件
├── UV_ENV_SETUP.md # uv 虚拟环境搭建规范
├── SM120_DSV4_DEPLOYMENT_GUIDE.md # SM120 (RTX 6000D) 部署 DSV4 指南
└── <future guides> # 其他平台/环境的部署文档
使用规范
- 文档放这里:与建立环境、部署模型、修复平台兼容性相关的文档,应放到
envs/目录下。 - 环境不放这里:具体的 uv venv、conda env、Docker 镜像构建产物等,不应提交到 git。请在对应环境的
.gitignore中排除。 - 命名规范:
{平台}_{模型或框架}_DEPLOYMENT_GUIDE.md或{框架}_{平台}_FIX.md。 - 内容要求:
- 环境信息(GPU、CUDA、驱动版本)
- 问题现象与错误日志
- 根因分析
- 解决步骤(含具体命令或代码修改)
- 验证结果
现有文档
| 文档 | 说明 |
|---|---|
UV_ENV_SETUP.md |
uv 虚拟环境搭建规范,含 vLLM 和 SGLang 的标准安装命令 |
SM120_DSV4_DEPLOYMENT_GUIDE.md |
RTX 6000D (SM120) 上部署 DeepSeek-V4-Flash 的完整指南,含 vLLM 和 SGLang 的适配步骤 |
排除的环境目录(已加入 .gitignore)
以下子目录包含具体的虚拟环境文件,不应提交:
modelscope-hub/modelscope-upload/sglang/sglang-src/vllm/