958c5778f0
- Introduced a new CUDA kernel for transposing and packing FP32 into UE8. - Added binary file for the new kernel. - Created multiple autotune configuration files for version 0.6.14 of FlashInfer, supporting various input shapes and configurations. - Added model information JSON for DeepseekV4ForCausalLM, detailing its architecture and capabilities.
envs 目录说明
本目录用于存放环境搭建相关的文档和指南，不包括具体的虚拟环境或容器镜像文件。
目录结构
envs/
├── README.md # 本说明文件
├── UV_ENV_SETUP.md # uv 虚拟环境搭建规范
├── SM120_DSV4_DEPLOYMENT_GUIDE.md # SM120 (RTX 6000D) 部署 DSV4 指南
└── <future guides> # 其他平台/环境的部署文档
使用规范
- 文档放这里：与建立环境、部署模型、修复平台兼容性相关的文档，应放到
envs/目录下。 - 环境不放这里：具体的 uv venv、conda env、Docker 镜像构建产物等，不应提交到 git。请在对应环境的
.gitignore中排除。 - 命名规范：
{平台}_{模型或框架}_DEPLOYMENT_GUIDE.md或{框架}_{平台}_FIX.md。 - 内容要求：
- 环境信息（GPU、CUDA、驱动版本）
- 问题现象与错误日志
- 根因分析
- 解决步骤（含具体命令或代码修改）
- 验证结果
现有文档
| 文档 | 说明 |
|---|---|
UV_ENV_SETUP.md |
uv 虚拟环境搭建规范，含 vLLM 和 SGLang 的标准安装命令 |
SM120_DSV4_DEPLOYMENT_GUIDE.md |
RTX 6000D (SM120) 上部署 DeepSeek-V4-Flash 的完整指南，含 vLLM 和 SGLang 的适配步骤 |
排除的环境目录（已加入 .gitignore）
以下子目录包含具体的虚拟环境文件，不应提交：
modelscope-hub/modelscope-upload/sglang/sglang-src/vllm/charts/（matplotlib 绘图环境，用于生成性能报告图表）