qqtang/sskj
1
3
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
206 Commits 4 Branches 0 Tags
Commit Graph

34 Commits

Author SHA1 Message Date
yy-fighting
5c749cda03 feat(pro6000/GLM-5.3): 方案 D/E/F 部署资产入库（TP2PP4 生产配方 / TP8+DFlash2 / PD 分离四角色链） 
- scripts: 11 个服务器原样脚本入库（md5 对照表更新至 README）；D=60.1 生产原样配方、
  E=v5 DFlash 底稿、F=PD 链四角色部署+launch+双场景压测驱动
- profiles: 新增 6 个 .env（D/E 单机 + F 四角色，均带镜像 digest
  sha256:28e0d260…，对齐 kimi3 PD 多角色先例）
- deploy/PD_CHAIN.md: 方案 F 编排手册（启动顺序 mc-master→prefill→decode→router、
  基础设施依赖表、质量门口径、拆链恢复、÷2 单机等效判决）
- platforms/patches/pro6000/glm53_pd_chain/: sglang 补丁树 vs 镜像原版 11 文件
  unified diff 快照——宿主树无 .git，此为唯一版本记录（DFlash+PP+PD 解锁全集）
- deploy/manifests/: GLM-5.3-NVFP4(47分片)/GLM-5.3-DFlash2(单分片) 权重 md5 清单
- deploy/CURRENT.md: 全集群现役状态页（2026-09-08 八机实测）
- deploy/verify_profile.sh: 防漂移核验工具（digest+参数 token 比对+端口/health，
  已在 60.1 生产容器实测 PASS）
 2026-09-08 16:36:15 +08:00
yy-fighting
b3165a1d3c feat(pro6000/GLM-5.3): 部署方案入库（TP8+EAGLE 生产标准 / 场景二高并发变体 / TP4PP2+IndexCache / E7b CAR 实验补丁 + deploy profiles） 
- deploy_glm53_605.sh：配置 A 生产标准（60.5 在役，全 8 台 md5 fcd9109b 一致），
  支持 MEMFRAC/STEPS/TOPK/DRAFT/CHUNK/EXTRA/RESTART 调参；场景二高并发变体
  仅改 mrr32 + decode 图 bs{4,8,12,16}（KV 池 16.4 驻留上限）
- deploy_glm53_optimal(_s1).sh：配置 B TP4PP2+IndexCache（场景二最优 +41~79%；
  s1 形态唯一差异 radix-on）
- deploy_glm53_607_exp.sh + car_patch/：E7b custom-AR 1stage 补丁（cc1 decode
  每步 -14~-16%，实验性仅 cc1-2 验证；补丁文件与 60.7:/root/patches md5 一致）
- deploy/profiles/pro6000/：两个标准 profile（sskj.deploy 可消费），关键踩坑
  与场景二变体、parser 缺口均在注释中标注
 2026-09-08 11:38:06 +08:00
yy-fighting
f0ab17c561 feat(pro6000/GLM-5.3): 双场景压测标准入库（bench_corpus 真实语料工具链 + run-id 窗口纪律 + 质量门禁 + 语料构建链） 
- 场景一：128k/64k 输入、o512、cc1-4、90% 前缀命中（run-id 9301-9308）
- 场景二：16k 全独立输入、o512、cc8/16/32（run-id 9311-9313）
- 口径：输出吞吐取服务端 completion_tokens；命中率仅从 TP0 Prefill 日志核验；
  配置对比用 TPOT×accept；噪声带 ±8%；重跑必须 --pool-override 换新鲜窗口
- 基线（2026-09-07 真实语料）与完整纪律见实验目录 README
 2026-09-08 11:37:54 +08:00
shishi
987f1db4b0 feat(pro6000): Kimi-K3 DP=2 部署（方案 B：两个独立 TP32×EP32 实例 + router 负载均衡） 
- 实例 A profile 加 --disable-radix-cache（bench 测量纯净）
- 新增实例 B profile（kimi3_pro6000_sglang_tp32ep32_instB，.1-.4）
- 新增 deploy_dp2.sh 编排脚本（A + B + router --worker-urls）
- 新增 README
 2026-08-11 17:56:14 +08:00
shishi
c69831f258 feat(pd): PD 长上下文 adaptive concurrency bench（SLO 方案 A，并发 +16） 
- matrix.json: 3 个 shape（64k/128, 16k/1k, 1k/4k）
- run_adaptive_concurrency_pd.sh: PD 专用 adaptive 脚本
  - 复用 adaptive_bench_lib.sh（并发搜索/SLO 停止/OOM 检测/完整产物）
  - server 生命周期函数 no-op（PD 服务常驻，不启停）
  - 加 --flush-cache（配合 --disable-radix-cache 测纯净 TTFT/TPOT）
  - 离线环境变量 + 本地 tokenizer（避免 HF 在线下载）
- adaptive_config.env: SEARCH_ADDEND=16 +16 递增，上限 64，回退 8/1
- config.env: 新增 get_ttft_slo_ms 分层 SLO（1k->4s, 16k->15s, 64k->30s）
 2026-08-11 14:45:36 +08:00
shishi
fe375e1307 docs(pd): 补充运维一键部署完整步骤（干净环境从零到跑通） 
- experiments README 新增「运维一键部署」章节：6 步完整流程
  （免密/文件分发/仓库 clone/拉镜像/启动/验证）+ 停止重启 + 文件来源
- docs/KIMI_K3_DEPLOY.md 附录 B 新增 B.2 运维准备，编号顺延 B.3-B.6
- 修复 scp 分发命令（先建父目录）
 2026-08-11 11:55:39 +08:00
shishi
da0e1b4372 fix(pd): config.env 加 DOCKER_CLIENT_IMAGE（bench 用 docker client 复用 kimi-k3 镜像） 2026-08-11 11:19:42 +08:00
shishi
04dfa31583 fix(pd): PATCH_MOUNTS 补充 flashkda wheel 挂载（BOOTSTRAP 需要 /flash_kda-*.whl） 2026-08-11 10:50:43 +08:00
shishi
d72dbff689 feat(pro6000): Kimi-K3 PD 分离部署（MoonCake RDMA）- 8 节点 P/D 双 profile + deploy_pd.sh 编排 + 文档 
- 新增 P 组(prefill)/D 组(decode) deploy profiles（mooncake RDMA + 计算网 mlx5_0~3）
- 新增 experiments/pro6000/kimi3_pro6000_pd_rdma/ 编排脚本（mc-master+P+D+router）
- 关键修复: 必须关闭 PYTORCH_CUDA_ALLOC_CONF=expandable_segments
  （mooncake RDMA 注册 expandable GPU 段报 Bad address，GitHub #2511）
- 容器内升级 mooncake 0.3.12.post1（含 dmabuf 修复 #2035）
- docs/KIMI_K3_DEPLOY.md 新增附录 B，README 更新实验索引
 2026-08-11 10:36:09 +08:00
shishi
3bd04698bb feat(pro6000): Kimi-K3 TP32×EP32 部署 profile、sm_120 补丁与运维手册 - 4 节点 RoCE 部署 + bench 实验 2026-08-10 11:04:24 +08:00
Zhiyi Hong
9acf9fdfdb feat(pro6000): 部署/测试解耦 - deploy 层支持多节点与 vLLM，新增 6 个 profile 
- sskj.deploy runtime 支持 NODE_HOSTS 多节点编排(ssh 分发/本地 rank/LOCAL_NODE_RANK)
  与 ENGINE=vllm 启动(SERVER_CMD)，容器名按 rank 自动唯一
- scripts/common/deploy_cli.sh 新增 deploy_stop/status/multinode helper 与 node-rank 透传
- src/sskj/common/env.py 修复嵌套 ${VAR:-${OTHER}/path} 展开(平衡花括号扫描)
- deploy/profiles/pro6000/ 新增 6 个 profile: tp16/tp16_eagle/glm52(多节点)、
  sglang/vllm tp_dp_matrix、qwen3(单节点)
- 6 个实验 start/stop 脚本改为 deploy 薄包装，run_bench/adaptive 的 server 启停走
  deploy_render_args/deploy_start/deploy_stop，tp16 新增 matrix.json
- 首次入库 glm52_pro6000_sglang_multinode_tp16 实验目录；ops/README.md 补 pro6000 章节
- 实测通过: 单节点 dsv4 sglang/vllm 链路 + tp16 双节点启动/bench/清理
 2026-08-03 15:17:41 +08:00
Zhiyi Hong
e53b2c7e4c fix: JSONL parsing in run_batch, add results/ to gitignore 2026-07-29 17:51:47 +08:00
Zhiyi Hong
c839230c0b feat: add EAGLE speculative decoding experiment (dsv4_pro6000_sglang_tp16_eagle) 2026-07-29 17:51:40 +08:00
Zhiyi Hong
6d3338244b fix: cuda-graph-max-bs=64 (256 OOMs during capture) 2026-07-28 17:31:52 +08:00
Zhiyi Hong
cd362c5ca0 fix: max_running_requests=256, cuda_graph_max_bs=256 to match max concurrency 128 2026-07-28 17:20:25 +08:00
Zhiyi Hong
da1d4d3d78 add tp = 16 deepseek v4 pro sglang bench 2026-07-28 17:09:26 +08:00
yy-fighting
3b0297516e fix: replace 5 buggy parse_results.py (raw_requests bloat) with shared parse_backend.py wrapper 2026-07-22 03:47:22 +00:00
Quantong Qiu
aee25d4088 feat(pro6000): add qwen3_235b_pro6000_sglang_tp8 experiment (code + README + report.md) 2026-07-21 23:54:19 +08:00
Quantong Qiu
8c737b840b [Feat] use nightly SGLang FlashInfer MoE 2026-07-21 15:22:47 +08:00
Quantong Qiu
83f5ea2197 [Fix] skip longer contexts after C1 OOM 2026-07-21 14:19:38 +08:00
Quantong Qiu
f263695e1b Merge branch 'main' of gitee.com:yy-fighting/sskj into auto/main/11665927/9c484989-1 
Signed-off-by: Quantong Qiu <q_qtang@163.com>
 2026-07-21 05:30:44 +00:00
Quantong Qiu
5e864d2393 !13 [Feat] apply validated deployment capacity caps 
Merge pull request !13 from Zhiyi Hong/auto/main/11665927/494ca4a8-1
 2026-07-21 05:26:41 +00:00
Quantong Qiu
0c2256ca1c [Feat] add 6000D DSV4 tiny adaptive benchmarks 2026-07-21 11:54:04 +08:00
Quantong Qiu
db16057962 [Feat] apply validated deployment capacity caps 2026-07-21 11:50:23 +08:00
Quantong Qiu
db25bc7e5f 6000D Results 2026-07-21 11:14:14 +08:00
Quantong Qiu
359df6a7b6 refactor(paths): derive repository files from root 2026-07-20 17:33:51 +08:00
Quantong Qiu
8562c26524 fix(sglang): cap SM120 CUDA graph prefill 2026-07-20 16:06:09 +08:00
Quantong Qiu
5ffbd0a21a fix(bench): use default limits and back off after OOM 2026-07-20 11:48:10 +08:00
Quantong Qiu
958c5778f0 Add new kernels and autotune configurations for DeepseekV4 model 
- Introduced a new CUDA kernel for transposing and packing FP32 into UE8.
- Added binary file for the new kernel.
- Created multiple autotune configuration files for version 0.6.14 of FlashInfer, supporting various input shapes and configurations.
- Added model information JSON for DeepseekV4ForCausalLM, detailing its architecture and capabilities.
 2026-07-18 10:31:24 +08:00
Quantong Qiu
8beed2411f update 8k and 32k 2026-07-17 16:47:25 +08:00
yy-fighting
8652a685e6 rewrite README, add new platform onboarding guide, fix broken scripts/common paths 
- rewrite README with project purpose, standard workflow, corrected index
- add docs/NEW_PLATFORM_GUIDE.md (new GPU onboarding SOP, GLM5.2 reuse)
- fix ../../scripts/common -> ../../../scripts/common in 42 experiment scripts
- refresh stale docs (EXPERIMENT_GUIDE, H200_QUICKSTART, ADAPTIVE_CONCURRENCY_USAGE, BENCHMARK_WORKFLOW)
- remove dead code (dp_proxy.py) and .bak leftovers
- add p800 adaptive results (tp4_dp2/tp8_dp1 metrics + summary)
- gitignore envs/charts and .tmp_charts
 2026-07-17 06:18:05 +00:00
SSKJ Dev
ff218bdeb3 enable TTFT group skip for all add16 benchmarks 2026-07-17 02:04:05 +00:00
SSKJ Dev
589d3b079d enable initial backoff for all add16 benchmarks 2026-07-16 09:05:37 +00:00
SSKJ Dev
a4e38b9e33 Reorganize experiments into hardware-specific subdirectories 
Move all experiments under hardware-specific folders:
- experiments/h200/     : H200 GPU experiments (15 dirs)
- experiments/h20/      : H20 GPU experiments (2 dirs)
- experiments/p800/     : Kunlun P800 experiments (3 dirs)
- experiments/pro6000/    : RTX 6000D experiments (2 dirs)

This improves discoverability and keeps hardware-specific configs
isolated from each other.
 2026-07-16 04:11:07 +00:00