qqtang/sskj
1
3
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
223 Commits 4 Branches 0 Tags
Commit Graph

12 Commits

Author SHA1 Message Date
yy-fighting
b9e8c0c4a2 CURRENT.md 60.1: two campaign windows restored; D-upgrade recipe is D-config-only; A-baseline verdicts (image/autotune negative, IPC@TP8 real but patch-coupled) 2026-09-10 19:13:44 +08:00
yy-fighting
c5d91ceafe b300-equivalent matrix: E7b high-concurrency retest (MRR64 + decode-graph buckets 1-64) - graph-drop cliff fixed, report numbers overwritten in place 
- deploy_glm53_e7b_hicc.sh (md5 165db732): only delta vs 607_exp = MRR 16->64 + cuda-graph-bs-decode 1..64; KV pool 276,480 unchanged, avail 6.11GB after capture
- 10 retest points (16K/4.1/4.2 at c8/16/32/64) all OK, hit=0.0 (fresh container = recycled windows virgin again), 0 retraction, QG 7/7
- verdicts: 16K output 92.1/97.6/99.6 (+18~33% vs initial, still TP2PP4-dominated, prefill wall ~100 plateau); 4.1 c32/64 229/272 (gap narrowed to 1.2x); 4.2 402/676/826.5 - E7b wins ALL cc tiers, c64 826.5 tok/s = machine-wide best output (+72% vs TP2PP4 482), TTFT 12.18s / TPOT 85.1ms; c8 anchors within +-3% prove no env drift
- REPORT.md + Feishu A7V3wZTQeifCB4krdi6cA834nW9 overwritten in place (user directive: no appended chapter); initial MRR16 run archived as baseline in results/e7b/
- provenance.md: e7b64 VRAM (idle 79.3k, peak 83,627 MiB), second in-service restore verified (fired up/health 200/16K+C4 spot/KV pool 647,040 identical)
 2026-09-10 18:52:54 +08:00
yy-fighting
21fcca5d16 b300-equivalent matrix: dual-plan (TP2PP4-D vs E7b) full B300 scenario replication on 60.8 - 41 valid points, divide at C=8, E7b usable window <=C8 (MRR16+graph-drop), boundary 256K/512K/896K TP2PP4-only, 4-5x absolute gap vs B300 narrowing to ~2x at boundary prefill; hicache host-layer cold-cache pitfall documented; in-service container preserved-renamed-restored and verified (09-10) 2026-09-10 17:13:50 +08:00
yy-fighting
e3476aff86 glm53 dsv4-migration bench: autotune+latest-image winner (+1.2~3.2% all 5 pts, A/B/A confirmed), PCIe-IPC pack negative (-0.4~-3.5%), page-mark kernel N/A for GLM (60.1, 09-09) 2026-09-10 03:13:02 +08:00
yy-fighting
ad1853f49b hit90 scenario bench: TP4PP2-nomtp@0.90 winner, DP-attention/DCP verdicts (60.8 serving, 60.5 v3 delivered, 09-09) 
- 冠军 A6 TP4PP2-nomtp@0.90（池 647,040）：hit90 out cc1-4=28.8/47.5/63.9/76.2、cc8/16=106.4/125.7（vs TP2PP4 基线 cc4+14%/cc8+15%），并发独立 128k 文档 4 条、512k 单条 ✓、质量门 7/7；60.8 在役（实测实例切 unless-stopped）
- 判决：DP attention 容量负收益判死（非 MoE 权重按 attn 组复制致 dp4 池 96,448/rank + EAGLE×DP 两层崩溃）；DCP 对 DSA 静默算错禁用（dsa_backend 零引用无 guard）；MTP@128k accept 2.07 判负（vs EAGLE 3.46 存活但池 276k 过不了容量门槛）
- 交付：60.5 v3 脚本（只交未执行）+ 补丁束（60.8:/root，md5 6922e534）+ profile tp4pp2_hicache.env + CURRENT.md 更新
- 归档：70 文件全量日志（含 DP 臂失败记录、A3 容器日志）+ 7 脚本 + README（双口径协议：hit90 主扫 + distinct-doc 容量探针）
 2026-09-09 17:11:04 +08:00
yy-fighting
0d929948a5 60.4 redeploy: TP8+EAGLE+custom-AR 1stage (E7b recipe) replaces TP2PP4 (09-09) 
CURRENT.md 60.4 行更新为 E7b 配方在役（EAGLE 4/1/5/mem0.90/MRR16/hicache3/图桶1-8，
CAR 补丁 8 rank 激活，质量门 7/7）。deploy_glm53_604_exp.sh 入库（=607 实验版逐字拷贝，
仅改 header；补丁 md5 与 car_patch/ 归档一致）。

注：本提交同时带入并行会话对 CURRENT.md 60.5（v2 容量脚本交付）与 60.8（TP2PP4-nomtp
容量口径在役）两行的未提交更新，内容为当日实测状态。
 2026-09-09 15:55:43 +08:00
yy-fighting
92517e87f0 128k low-cc capacity topology: TP2PP4-nomtp winner (60.8 serving, 60.5 v2 delivered, 09-09) 
诊断 60.5 排队根因：KV 池 276,864 token 纯容量算术（MLA KV 按 PP 分层切分，
池≈PP 度数倍增；TP8 调参无解，fp8 断言封顶 314,944 < c3 需求 394,752）。
四臂对拍（i128k/o512 冷缓存 cc1-4，PG19 真实语料同窗口映射）：
- A-mirror(60.5 现状)：c3 起容量排队，cc4 TTFT p50 119.6s，痛点复现
- r37(TP4PP2+MTP)：池 384,960，c3 起排队
- B'(TP4PP2 nomtp)：池 589,696，c4 零排队
- TP2PP4 nomtp 池 909,632 优胜：cc4 in 5907 / out 23.1 tok/s，
  TTFT p50 全场最优（cc1 15.5s），e2e 88.8s
优胜者验证全过：质量门 7/7；512k 单条 TTFT 88.4s；900k 单条可完成
（单条上限 ~909k 实证）；并发上限 c6（cc7 第 7 条起排队）；hit90 cc4
输入吞吐 17,625 tok/s、TTFT 7.3s。
60.8 末态：TP2PP4 容器在役（restart=unless-stopped）。
60.5 交付：deploy_glm53_605_v2.sh（一键部署+前置检查，原脚本=回滚路径）。
资产：arm_runner.sh / val_runner.sh / all_summaries.json(26 点全量) /
profile glm53_nvfp4_pro6000_sglang_tp2pp4_hicache.env / CURRENT.md 两行更新。
 2026-09-09 12:43:11 +08:00
yy-fighting
498e333730 CURRENT.md: 60.4 now serving TP2PP4 GLM-5.3-NVFP4 (D-recipe replica, 09-09) 
60.4 经授权清退外部 vllm 评测流水线（tmux mas / run_multiseed.sh 链，--resume 可续跑）
后部署 D 生产配方复刻：TP2/PP4/mem0.85/MRR48/chunk16384/radix-off/无投机，
restart=unless-stopped，health 200 + 生成冒烟通过。启动脚本 60.4:/root/deploy_s2_test_604.sh
（基于 exp602/deploy_s2_test.sh，唯一改动 restart 策略）。
 2026-09-09 10:55:59 +08:00
yy-fighting
a3b8f1b2ab r37: fix PP+MTP verify CUDA graph (pre-planned path missing pp_proxy fill); beats A16 by 40% on killer, now serving on 60.8 2026-09-09 01:24:29 +08:00
yy-fighting
ffda226f5a PP+MTP r36 de-GLOO: fix + verdict (PP+MTP loses i8k 1.81x to B', graph mode correctness-broken, A16 restored) 2026-09-08 22:21:20 +08:00
yy-fighting
123023b6ae feat(pro6000/GLM-5.3): i8k/o1k/c16 三方案对比压测入库（A/A16/B 轮换实测 + 60.8 转 A16 在役 + CURRENT.md 台账修正 60.2/60.3/60.6/60.8） 2026-09-08 19:05:10 +08:00
yy-fighting
5c749cda03 feat(pro6000/GLM-5.3): 方案 D/E/F 部署资产入库（TP2PP4 生产配方 / TP8+DFlash2 / PD 分离四角色链） 
- scripts: 11 个服务器原样脚本入库（md5 对照表更新至 README）；D=60.1 生产原样配方、
  E=v5 DFlash 底稿、F=PD 链四角色部署+launch+双场景压测驱动
- profiles: 新增 6 个 .env（D/E 单机 + F 四角色，均带镜像 digest
  sha256:28e0d260…，对齐 kimi3 PD 多角色先例）
- deploy/PD_CHAIN.md: 方案 F 编排手册（启动顺序 mc-master→prefill→decode→router、
  基础设施依赖表、质量门口径、拆链恢复、÷2 单机等效判决）
- platforms/patches/pro6000/glm53_pd_chain/: sglang 补丁树 vs 镜像原版 11 文件
  unified diff 快照——宿主树无 .git，此为唯一版本记录（DFlash+PP+PD 解锁全集）
- deploy/manifests/: GLM-5.3-NVFP4(47分片)/GLM-5.3-DFlash2(单分片) 权重 md5 清单
- deploy/CURRENT.md: 全集群现役状态页（2026-09-08 八机实测）
- deploy/verify_profile.sh: 防漂移核验工具（digest+参数 token 比对+端口/health，
  已在 60.1 生产容器实测 PASS）
 2026-09-08 16:36:15 +08:00