8 Commits

Author SHA1 Message Date
yy-fighting
ad1853f49b hit90 scenario bench: TP4PP2-nomtp@0.90 winner, DP-attention/DCP verdicts (60.8 serving, 60.5 v3 delivered, 09-09)
- 冠军 A6 TP4PP2-nomtp@0.90(池 647,040):hit90 out cc1-4=28.8/47.5/63.9/76.2、cc8/16=106.4/125.7(vs TP2PP4 基线 cc4+14%/cc8+15%),并发独立 128k 文档 4 条、512k 单条 ✓、质量门 7/7;60.8 在役(实测实例切 unless-stopped)
- 判决:DP attention 容量负收益判死(非 MoE 权重按 attn 组复制致 dp4 池 96,448/rank + EAGLE×DP 两层崩溃);DCP 对 DSA 静默算错禁用(dsa_backend 零引用无 guard);MTP@128k accept 2.07 判负(vs EAGLE 3.46 存活但池 276k 过不了容量门槛)
- 交付:60.5 v3 脚本(只交未执行)+ 补丁束(60.8:/root,md5 6922e534)+ profile tp4pp2_hicache.env + CURRENT.md 更新
- 归档:70 文件全量日志(含 DP 臂失败记录、A3 容器日志)+ 7 脚本 + README(双口径协议:hit90 主扫 + distinct-doc 容量探针)
2026-09-09 17:11:04 +08:00
yy-fighting
0d929948a5 60.4 redeploy: TP8+EAGLE+custom-AR 1stage (E7b recipe) replaces TP2PP4 (09-09)
CURRENT.md 60.4 行更新为 E7b 配方在役(EAGLE 4/1/5/mem0.90/MRR16/hicache3/图桶1-8,
CAR 补丁 8 rank 激活,质量门 7/7)。deploy_glm53_604_exp.sh 入库(=607 实验版逐字拷贝,
仅改 header;补丁 md5 与 car_patch/ 归档一致)。

注:本提交同时带入并行会话对 CURRENT.md 60.5(v2 容量脚本交付)与 60.8(TP2PP4-nomtp
容量口径在役)两行的未提交更新,内容为当日实测状态。
2026-09-09 15:55:43 +08:00
yy-fighting
92517e87f0 128k low-cc capacity topology: TP2PP4-nomtp winner (60.8 serving, 60.5 v2 delivered, 09-09)
诊断 60.5 排队根因:KV 池 276,864 token 纯容量算术(MLA KV 按 PP 分层切分,
池≈PP 度数倍增;TP8 调参无解,fp8 断言封顶 314,944 < c3 需求 394,752)。
四臂对拍(i128k/o512 冷缓存 cc1-4,PG19 真实语料同窗口映射):
- A-mirror(60.5 现状):c3 起容量排队,cc4 TTFT p50 119.6s,痛点复现
- r37(TP4PP2+MTP):池 384,960,c3 起排队
- B'(TP4PP2 nomtp):池 589,696,c4 零排队
- TP2PP4 nomtp 池 909,632 优胜:cc4 in 5907 / out 23.1 tok/s,
  TTFT p50 全场最优(cc1 15.5s),e2e 88.8s
优胜者验证全过:质量门 7/7;512k 单条 TTFT 88.4s;900k 单条可完成
(单条上限 ~909k 实证);并发上限 c6(cc7 第 7 条起排队);hit90 cc4
输入吞吐 17,625 tok/s、TTFT 7.3s。
60.8 末态:TP2PP4 容器在役(restart=unless-stopped)。
60.5 交付:deploy_glm53_605_v2.sh(一键部署+前置检查,原脚本=回滚路径)。
资产:arm_runner.sh / val_runner.sh / all_summaries.json(26 点全量) /
profile glm53_nvfp4_pro6000_sglang_tp2pp4_hicache.env / CURRENT.md 两行更新。
2026-09-09 12:43:11 +08:00
yy-fighting
498e333730 CURRENT.md: 60.4 now serving TP2PP4 GLM-5.3-NVFP4 (D-recipe replica, 09-09)
60.4 经授权清退外部 vllm 评测流水线(tmux mas / run_multiseed.sh 链,--resume 可续跑)
后部署 D 生产配方复刻:TP2/PP4/mem0.85/MRR48/chunk16384/radix-off/无投机,
restart=unless-stopped,health 200 + 生成冒烟通过。启动脚本 60.4:/root/deploy_s2_test_604.sh
(基于 exp602/deploy_s2_test.sh,唯一改动 restart 策略)。
2026-09-09 10:55:59 +08:00
yy-fighting
a3b8f1b2ab r37: fix PP+MTP verify CUDA graph (pre-planned path missing pp_proxy fill); beats A16 by 40% on killer, now serving on 60.8 2026-09-09 01:24:29 +08:00
yy-fighting
ffda226f5a PP+MTP r36 de-GLOO: fix + verdict (PP+MTP loses i8k 1.81x to B', graph mode correctness-broken, A16 restored) 2026-09-08 22:21:20 +08:00
yy-fighting
123023b6ae feat(pro6000/GLM-5.3): i8k/o1k/c16 三方案对比压测入库(A/A16/B 轮换实测 + 60.8 转 A16 在役 + CURRENT.md 台账修正 60.2/60.3/60.6/60.8) 2026-09-08 19:05:10 +08:00
yy-fighting
5c749cda03 feat(pro6000/GLM-5.3): 方案 D/E/F 部署资产入库(TP2PP4 生产配方 / TP8+DFlash2 / PD 分离四角色链)
- scripts: 11 个服务器原样脚本入库(md5 对照表更新至 README);D=60.1 生产原样配方、
  E=v5 DFlash 底稿、F=PD 链四角色部署+launch+双场景压测驱动
- profiles: 新增 6 个 .env(D/E 单机 + F 四角色,均带镜像 digest
  sha256:28e0d260…,对齐 kimi3 PD 多角色先例)
- deploy/PD_CHAIN.md: 方案 F 编排手册(启动顺序 mc-master→prefill→decode→router、
  基础设施依赖表、质量门口径、拆链恢复、÷2 单机等效判决)
- platforms/patches/pro6000/glm53_pd_chain/: sglang 补丁树 vs 镜像原版 11 文件
  unified diff 快照——宿主树无 .git,此为唯一版本记录(DFlash+PP+PD 解锁全集)
- deploy/manifests/: GLM-5.3-NVFP4(47分片)/GLM-5.3-DFlash2(单分片) 权重 md5 清单
- deploy/CURRENT.md: 全集群现役状态页(2026-09-08 八机实测)
- deploy/verify_profile.sh: 防漂移核验工具(digest+参数 token 比对+端口/health,
  已在 60.1 生产容器实测 PASS)
2026-09-08 16:36:15 +08:00