qqtang/sskj
1
3
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

[Docs] Add Kimi SM120 completion audit

Browse Source
This commit is contained in:
Zhiyi Hong 2026-08-18 23:58:37 +08:00
parent a11c80b703
commit a9206ff105
2 changed files with 63 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

61
experiments/pro6000/kimi3_pro6000_sglang_sm120_flashinfer_mxfp4/COMPLETION_AUDIT.md Normal file
View File

@ -0,0 +1,61 @@
# Kimi-K3 SM120 FlashInfer MXFP4 完成审计
审计时间：2026-08-18。本文只记录 goal 的逐项验收状态；技术结论见
`UPSTREAM_DUPLICATION_AUDIT.md`，公开 PR 正文见 `SGLANG_DRAFT_PR.md`。
## 验收矩阵
| 要求 | 状态 | 权威证据 |
|---|---|---|
| 固定 605 历史环境身份 | 已证明 | profile 为 `/data/yy/sskj/deploy/profiles/pro6000/kimi3_pro6000_sglang_tp32ep32_flashinfer.env`；镜像 `lmsysorg/sglang:kimi-k3-fiv617situ-warm`；两个 runtime patch SHA256 见去重审计 |
| 区分官方 0.6.17 与实际能力 | 已证明 | 605 profile 设置 `FLASHINFER_DISABLE_VERSION_CHECK=1` 并启动前执行两个补丁；报告未再声称 0.6.17 原版直接支持完整组合 |
| 逐文件比较 605 补丁、FlashInfer #4460、SGLang 上游 | 已证明 | `UPSTREAM_DUPLICATION_AUDIT.md` 的“上游已有/605 已有/我们新增/明确排除”四部分；605 补丁目标已从原文件重新核验 |
| 不提交重复 FlashInfer kernel | 已满足 | FlashInfer 历史实现与测试仅作为本地研究记录；SGLang Draft 不含 FlashInfer C++、依赖 pin 或 private capability marker |
| SGLang 仅保留真实增量 | 已满足 | SGLang base `63d783bbe095` 到 head `300c87a431ac` 仅修改 5 个文件；补丁位于 `patches/sglang-kimi-k3-sm120-flashinfer-mxfp4-draft.patch` |
| Kimi gate/up 权重和 scale 布局 | 已证明 | 注册测试覆盖连续 `[gate; up]` 到 CUTLASS `[up; gate]`，并保留 GPT-OSS pair-interleaved 分支 |
| SiTU 4.0/25.0 参数透传 | 已证明 | #4460 ABI 的 SM120 GPU correctness 测试覆盖独立 `situ_beta` 与 `situ_linear_beta` |
| 非连续 hidden states | 已证明 | GPU correctness 测试输入为非连续 view，runner 在 MXFP8 quantize 边界 materialize contiguous tensor |
| attn_residual SM120 guard | 已证明 | 注册架构测试覆盖 SM100/103/110 为 true、SM120/SM90 为 false |
| autotune 稳定性边界 | 已证明且不纳入 PR | 605 的 skip workaround 未进入 Draft；正式 24 点候选矩阵未复现 autotune 崩溃，因此没有用历史 workaround 扩大 PR |
| 最终定向 correctness | 已通过 | RTX 6000D GPU6、#4460 snapshot：`8 passed, 17 warnings in 559.87s`；wheel SHA256 `deafdac2dc44b331441daba64e5b5dd28f591fe44f087af0aac3521c6ddbfa1f` |
| 最终兼容回归 | 已通过 | Draft HEAD `300c87a`：`8 passed, 5 deselected, 17 warnings in 22.23s` |
| 格式和 CI 注册 | 已通过 | 五个变更文件完整 pre-commit 全部通过；两个测试文件注册到 CUDA CI `base-b/1-gpu-small` |
| 保留 EP4 服务级结果 | 已证明 | 601 原始目录有 24 个正式 JSONL 点；每组 3 repeats、每点 40/40 成功；错误扫描为空；未重跑 EP32 |
| 公开 PR 标题、正文、依赖和已知限制 | 已完成 | `SGLANG_DRAFT_PR.md` 遵循 SGLang 官方模板；标题为 `[Feature] Support Kimi-K3 FlashInfer MXFP4 MoE on SM120` |
| GitHub fork 交付 | 已完成 | `ACEEE-1222/sglang:hzy/kimi-k3-sm120-flashinfer-mxfp4`，Draft HEAD `300c87a` |
| 内部仓库独立分支 | 本地和 601 已完成，远端待推送 | 601 分支 `hzy/feature-kimi-k3-sm120-flashinfer-mxfp4` 已到审计提交；`git.meta-stone.net` 尚未为本机或 601 key 授权，HTTPS 也无 Token |
## 原始证据位置
```text
# EP4 服务级原始结果（601）
/data/hzy/sskj/experiments/pro6000/kimi3_pro6000_sglang_tp32ep32_moe_backend_prefill/results/kimi3-ep4-moe-full-20260818-151349/
/data/hzy/kimi3-ep4-moe-full-20260818-151349.log
# #4460 ABI correctness（601）
/data/hzy/phase5_sglang_pr4460_draft_gpu6_v4.log
/data/hzy/phase5_sglang_pr4460_draft_cpu_final.log
# 当前 SGLang Draft worktree（601）
/data/hzy/src/sglang-kimi-sm120-draft-wt
```
## 唯一未关闭项
内部 Gitea 的 API 返回 SSH URL：
```text
git@git.meta-stone.net:qqtang/sskj.git
```
端口 22 可达，但本机 `id_rsa`、`id_rsa_hzy` 和 601 `id_ed25519` 均收到
`Permission denied (publickey)`；HTTPS push 则缺少用户名/Access Token。
需要先在 Gitea 账号中绑定一把现有公钥，或配置 HTTPS Access Token，然后执行：
```bash
cd /data/hzy/sskj
git remote set-url origin git@git.meta-stone.net:qqtang/sskj.git
git push -u origin hzy/feature-kimi-k3-sm120-flashinfer-mxfp4
```
在远端 branch API 能读到对应 ref 前，完整 goal 保持未完成。

2
experiments/pro6000/kimi3_pro6000_sglang_sm120_flashinfer_mxfp4/README.md
View File

@ -13,6 +13,8 @@
[`patches/sglang-kimi-k3-sm120-flashinfer-mxfp4-draft.patch`](patches/sglang-kimi-k3-sm120-flashinfer-mxfp4-draft.patch)。
五个变更文件已通过完整 pre-commit；最终非 JIT 回归为
`8 passed, 5 deselected, 17 warnings in 22.23s`。
逐项验收和唯一剩余交付项见
[`COMPLETION_AUDIT.md`](COMPLETION_AUDIT.md)。
## 目标