ad1853f49b
- 冠军 A6 TP4PP2-nomtp@0.90（池 647,040）：hit90 out cc1-4=28.8/47.5/63.9/76.2、cc8/16=106.4/125.7（vs TP2PP4 基线 cc4+14%/cc8+15%），并发独立 128k 文档 4 条、512k 单条 ✓、质量门 7/7；60.8 在役（实测实例切 unless-stopped） - 判决：DP attention 容量负收益判死（非 MoE 权重按 attn 组复制致 dp4 池 96,448/rank + EAGLE×DP 两层崩溃）；DCP 对 DSA 静默算错禁用（dsa_backend 零引用无 guard）；MTP@128k accept 2.07 判负（vs EAGLE 3.46 存活但池 276k 过不了容量门槛） - 交付：60.5 v3 脚本（只交未执行）+ 补丁束（60.8:/root，md5 6922e534）+ profile tp4pp2_hicache.env + CURRENT.md 更新 - 归档：70 文件全量日志（含 DP 臂失败记录、A3 容器日志）+ 7 脚本 + README（双口径协议：hit90 主扫 + distinct-doc 容量探针）
5.3 KiB
5.3 KiB
GLM-5.3-NVFP4 hit90 场景输出吞吐与容量优化实验（含 DP attention / DCP 探索）— 2026-09-09 @ 174.1.60.8
一、结论速览
优胜配置 = A6：TP4PP2 nomtp @ memfrac 0.90（cu13 镜像 + r37 9 补丁挂载，radix/hicache 开，--context-length 1048576）。60.8 已在役（实测实例原样保留切 restart=unless-stopped）。
场景（用户修正后）：缓存命中 90% 的 i128k/o512 长上下文重复查询（60.5 真实流量形态），指标 = 输出吞吐 + 容量上限，且不限于 PP（DP attention / DCP 均需验证）。
| 维度 | A1 在役（TP2PP4@0.85） | A3 = 60.5 生产（TP8+EAGLE） | A6 优胜（TP4PP2@0.90） |
|---|---|---|---|
| KV 池（token） | 909,632 | 276,864 | 647,040 |
| 并发独立 128k 文档上限 | 6 | 2 | 4 |
| hit90 out cc1/2/3/4 | —（仅 cc4 66.9） | —（仅 cc4 72.0） | 28.8 / 47.5 / 63.9 / 76.2 |
| hit90 out cc8/16 | 92.6 / 124.1 | 79.2 / 82.0 | 106.4 / 125.7 |
| cap cc2 单请求解码 | 18.4 tok/s | 44.7 | 31.5 |
| 512k 单条 | 114.4s ✓ | ✗（池不够） | 151.9s ✓（TTFT 135.8s） |
| 质量门 | 7/7 | — | 7/7 |
- A6 对 A1：hit90 cc4/cc8 +14%/+15%，cc16 +1%（主指标全胜）；容量 6→4 为唯一让步（hit90 共享前缀口径下 cc16 仅占 ~33 万 token，超出部分 hicache host 层兜底，cap cc8 排队场景 96.5 vs A1 的 67.6 仍优雅）。
- A6 对 60.5 生产（A16）：并发独立文档容量 ×2（2→4）、hit90 cc8 +34%；代价 = EAGLE 低并发单请求极致速度消失（44.7→31.5 tok/s/req）。
- 512k 单条 A6 比 A1 慢 33%（PP4 对单条巨请求的 4 级 prefill 流水更优）——判据只要求"可完成"，如实记录。
二、三条架构级判决（本轮核心增量）
- DP attention 对 GLM-5.3 容量是负收益：非 MoE 权重（DSA indexer/shared expert/dense）按 attn 组整份复制（attn_tp=4 → 58.37GB/rank），dp4 池塌到 96,448/rank、dp2 215,232/组，聚合均 < 单机 TP2PP4 的 909,632。叠加 EAGLE×DP 两层独立崩溃（mlp-sync padding NoneType → 补丁修复；SM120 sparse-MLA seq_lens 形状 (8,)vs(6,) → cu13 栈未修）→ DP 臂整体判死。证据：
results/20260909/dp_arms_failure_record.md+ arm4/arm5 日志。 - DCP 对 DSA 是静默死路：
--dcp-size只有稠密 MLA 内核消费；dsa_backend.py 零引用且无 guard → 配了静默算错。点亮需 SM120 sparse-MLA 内核补丁（多天级），列为后续工程项，禁止生产尝试。 - MTP 在 128k 长上下文判负：accept 2.07（16k 时 3.5+），单请求 14.9 < 无投机 20.7 tok/s（DSA verify 成本随上下文暴涨，break-even accept≈2.87）；EAGLE 深树 accept 3.46@128k 存活但 A16 配方池太小。未来投机方向 = "TP4PP2+EAGLE 扩池"，未验证。
三、方法学（双口径协议）
- hit90 主扫：shared-frac 0.9（共享 117,968 前缀），cc∈{1,2,3,4,8,16}，nreq=2×cc，每点 flush+warm90；实测 hit_rate=0.8999。注意共享前缀口径容量被天然美化，不能单独下容量结论。
- 容量探针（cap）：独立文档，种子遍（串行 o8 喂 radix）→ 计分遍（并发 o512 不 flush）；TTFT_max 突增 = 排队 = 容量上限信号（种子过的文档重复查询 TTFT≈0.5s、admission 给足信用）。
- 判据：硬门槛 = cap cc4 零排队 + 512k 单条可完成 + 质量门 7/7；入围按 hit90 out_tps 定夺。
- 窗口映射（全臂同映射，PG19 语料 --pool-override 重放）：jit 18.0M / hit90 cc1-3 17.0/17.3/17.6M / cc4 15.5M / cc8 15.7M / cc16 16.1M / cap cc2-8 18.5/18.8/19.4/20.2M / 512k 10.0M（语料总 21,296,780）。
- 复现性：A1 hit90 cc4=66.9 vs 上轮独立验证点 68.85（偏差 2.9% 预热抖动范围）。
四、资产
scripts/：run_arm90.sh（单臂全套编排）、warm90.py（共享前缀预热）、finals_arm6.sh（质量门+512k+cc1-3 决赛）、deploy_dp_eagle.sh + patch_fbi.py + launch_arm5.sh（DP 臂部署与 fbi None 守卫补丁）、deploy_glm53_605_v3.sh（60.5 交付脚本，只交未执行）。results/20260909/：70 文件全量日志（A1/A2/A3/A6 主扫+cap+决赛、DP 臂失败记录、部署日志、A3 容器全量 docker 日志）。- 复用既有归档：deploy_ppmtp_r37.sh（
experiments/pro6000/glm53_ppmtp_r37_verify_graph/scripts/）、quality_gate_605.sh（.../glm53_nvfp4_pro6000d_sglang_dual_scenario_bench/scripts/）。 - 60.5 部署补丁束：60.8:/root/glm53_r37_patch_bundle_v3.tar.gz（9 文件，md5
6922e53439991bc13feee72f3760704f；9 补丁文本快照另见 r37 实验目录）。 - 完整报告：
D:\sskj\reports\GLM53_NVFP4_60.8_hit90场景输出吞吐与容量优化实验报告_2026-09-09.md。 - Profile：
deploy/profiles/pro6000/glm53_nvfp4_pro6000_sglang_tp4pp2_hicache.env。
五、60.8 在役部署口径（2026-09-09 起）
bash /root/deploy_ppmtp_r37.sh '--tp 4 --pp-size 2 --disable-overlap-schedule \
--max-prefill-tokens 16384 --disable-custom-all-reduce --context-length 1048576' \
nomtp 8192 0.90 1 1 0 0
# 池 647,040；容器 glm53-nvfp4 restart=unless-stopped
# 回滚 A1 = 同命令改 '--tp 2 --pp-size 4' + memfrac 0.85
60.5 切换：scp 补丁束 + deploy_glm53_605_v3.sh → 维护窗口执行（停机 ~7 分钟，需 docker pull cu13 镜像）；回滚 = 原 deploy_glm53_605.sh（A16 配方）。