sskj/experiments/pro6000/kimi3_pro6000_sglang_tp_reduce_scatter_prefill

Kimi K3 推理优化 - 优化 Prefill - TP Reduce Scatter

结论

不推荐在当前 Kimi-K3 TP32 部署上继续这条优化路线。

SGLang 的通用 --enable-attn-tp-input-scattered 优化适用于后续 Attention 只依赖 QKV latent 的 MLA 模型。Kimi-K3 的 MLA 额外包含 g_proj(hidden_states) 输出门控，而且 93 层中只有 24 层为 MLA、其余 69 层为 KDA。为了保证门控和 KDA 正确，仍需恢复完整的 7168 维 hidden。 这样不仅无法消除原有 hidden All-Reduce，还会增加一次 2112 维 latent All-Gather，与“降低跨节点通信”的目标相反。

因此本任务在源码审计和最小原型验证后停止，不进入四节点性能测试，不形成 SGLang PR。后续 Prefill 通信优化应优先转向 MoE A2A 和 Pipeline Parallelism。

目标与固定测试口径

原计划比较以下两组：

模型：Kimi-K3
节点：601-604，32 GPU
并行：TP32 / EP4 / DP1
MoE runner：flashinfer_mxfp4
请求：16K -> 1
并发：C=8、C=16
Chunked Prefill：8K
变量：--enable-attn-tp-input-scattered 关闭 / 开启

源码审计已证明当前开关在 Kimi-K3 中没有完整接线，而且直接移植不能降低 通信，因此没有消耗四节点资源运行该矩阵。

DeepSeek 路径为什么成立

通用优化把原路径：

embed / MLP partial output
  -> All-Reduce hidden
  -> RMSNorm(full hidden)
  -> qkv_a(full hidden)

改为：

embed / MLP partial output
  -> Reduce-Scatter hidden by token
  -> RMSNorm(local tokens)
  -> qkv_a(local tokens)
  -> All-Gather QKV latent

Kimi-K3 的张量宽度为：

hidden = 7168
QKV latent = q_lora_rank + kv_lora_rank + qk_rope_head_dim
           = 1536 + 512 + 64
           = 2112

如果后续只需要 latent，将 7168 维 hidden 的 All-Reduce 改成 7168 维 Reduce-Scatter，再 All-Gather 2112 维 latent，可以同时减少 RMSNorm/QKV 重复计算和通信量。

Kimi-K3 为什么不能直接复用

MLA 输出门控仍依赖完整 hidden

Kimi-K3 MLA 有一条独立门控支路：

full hidden
  |-- qkv_a -> QKV latent -> Attention --|
  `-- g_proj -> sigmoid(gate) ------------|-> elementwise gate

相关实现位于：

python/sglang/srt/models/kimi_k3.py
  KimiK3MLAAttention.__init__
  KimiK3MLAAttention.forward
  _gated_o_proj_forward

g_proj 是按 Attention Head 切分的 ColumnParallelLinear。TP32 时，每个 rank 只持有自己的 3 个 head 的权重，但必须为全部 token 计算门控：

hidden_all: [T, 7168]
W_gate_rank: [384, 7168]
gate_rank: [T, 384]

Reduce-Scatter 后每个 rank 只有 [T/32, 7168]，只能得到 [T/32, 384]。把各 rank 的 gate 直接 All-Gather 也不正确，因为每段 token 使用了不同 rank、不同 head 的权重；本 rank 需要的是自己的 W_gate_rank 对全部 token 的结果。

QKV latent 的 All-Gather 不能解决这个问题，因为 g_proj 的输入是原始 hidden，不是 QKV latent。

KDA 层要求完整 hidden

Kimi-K3 共 93 层，其中 24 层为 MLA、69 层为 KDA。KDA 的宽 Q/K/V/G 投影直接消费完整 hidden，不能复用 MLA 的 2112 维 latent。即使只在 MLA 层建立 scattered window，也需要在频繁的 MLA/KDA 边界恢复完整 hidden， 进一步削弱收益并增加实现复杂度。

通信量判断

忽略常数、数据类型和不同 collective 算法，令：

H = 7168  # hidden width
L = 2112  # QKV latent width

Ring collective 的每 rank 主量级可写为：

路径	相对通信项
原始 hidden All-Reduce	2H = 14336
理想 DeepSeek 路径：hidden RS + latent AG	H + L = 9280
K3 若恢复 gate hidden：hidden RS + hidden AG + latent AG	2H + L = 16448
K3 最小原型：保留 hidden AR + latent AG	2H + L = 16448

理想路径比原始路径少约 35.3% 通信；K3 为门控保留或恢复完整 hidden 后， 反而比原始路径多约 14.7%。实际延迟还会叠加跨四节点 collective 的固定 开销，因此没有理由期待它改善当前以通信为目标的 Prefill。

FlashInfer MoE 的关系

当前 flashinfer_mxfp4 是 MoE runner，且实验配置保持 moe_a2a_backend=none，因此它不违反通用 input-scattered 的静态约束。 但它也无法解决 MLA gate 或 KDA 对完整 hidden 的依赖。

换言之：FlashInfer MoE 与该优化不冲突，但不会使该优化在 Kimi-K3 上 成立。

原型与验证记录

为验证最小可行边界，建立过仅分摊 MLA qkv latent GEMM 的研究分支：

601 worktree: /data/hzy/src/sglang-kimi-tp-rs-wt
branch: hzy/kimi-k3-attn-tp-latent-scattered
commit: f5577d09

原型保留完整 hidden 给 K3 gate，只把 replicated 的 7168 -> 2112 qkv latent GEMM 按 token 分给 TP ranks，再 All-Gather latent。CPU 边界单测为 3 passed，证明 token 分片与 fallback 逻辑正确。

该原型没有进入 GPU/四节点服务测试，因为通信公式已经表明它保留原 All-Reduce 并新增 latent All-Gather。分支仅作为否决证据保留，不应合并、 发布或提交上游。

后续建议

1. 保留已验收的 flashinfer_mxfp4 + EP4 + chunked_prefill_size=8192。
2. 下一步测试 MoE A2A，目标是减少或替换 MoE 的跨 rank collective，而非 在 MLA gate 前后增加 collective。
3. 再测试 Prefill Pipeline Parallelism，用更小 TP 通信域换取流水线开销， 继续使用固定口径 16K -> 1、C=8/16、Chunk=8K。
4. 只有出现 gate-aware 的实现（例如低成本复制/重排 gate 权重，且通信模型 明确优于原始 All-Reduce）时，才重新开启 TP Reduce Scatter 方向。