[Docs] record Phase 2 worker staging smoke test
This commit is contained in:
parent
e9c5f85500
commit
5f24b7d22f
@ -1,5 +1,9 @@
|
||||
# sskj — 多平台大模型推理性能基准测试项目
|
||||
|
||||
> **更新(2026-07-31 16:27:58 CST)**
|
||||
>
|
||||
> 完成 Phase 2 Worker 通信代码分发的双节点真机 smoke test。Run `dsv4pro-phase2-stage-smoke-20260731-162326` 依次通过 Head/Worker P2P、两组单机 8-rank AllReduce 和一组双机 16-rank AllReduce,全部 `wrong_values=0`。两节点暂存文件 SHA256 一致;结束后 `/tmp` 暂存、通信容器和 GPU 进程均已清理。本次使用 1 MiB、单次迭代,仅验证执行链路,不作为正式性能数据。
|
||||
>
|
||||
> **更新(2026-07-31 16:18:35 CST)**
|
||||
>
|
||||
> 修复 Phase 2 双节点通信基线在 Worker 启动后立即退出的问题。唯一入口仍只在 Head `174.1.51.5` 执行;脚本现在按 `RUN_ID` 将 `communication_baseline.py` 自动暂存到 Head/Worker 的 `/tmp`,校验 SHA256 后只读挂载进通信容器,并在结果目录保存当次源码与哈希。Worker `174.1.51.7` 不再依赖同路径 Git 工作树,异常退出也会清理暂存文件。新增回归测试后 Phase 2 单元测试为 9/9。
|
||||
|
||||
@ -651,6 +651,7 @@ dsv4pro_pro6000d_2node_sglang_hardware_contention_attribution/</code></pre>
|
||||
<li class="pass">最终代码固定到提交 <code>39fc2ba565a3</code>;Shell 语法检查和三个 Python 文件编译通过。</li>
|
||||
<li class="pass">Phase 1 精确窗口 4/4 单元测试通过;Phase 2 worker 分发、采集、解析与通信聚合 9/9 单元测试通过。</li>
|
||||
<li class="pass">完整 Dry-run 不启动服务即可展开全部模型、采集和通信命令;通信子流程生成 2 个 P2P、2 个单机 AllReduce、6 个双机 rank 命令。</li>
|
||||
<li class="pass">双节点 smoke Run <code>dsv4pro-phase2-stage-smoke-20260731-162326</code> 已通过 Head/Worker P2P、两组 8-rank 与一组 16-rank AllReduce,均 <code>wrong_values=0</code>;暂存文件、容器和 GPU 进程清理完成。</li>
|
||||
<li class="pass">最终代码默认要求精确测量窗口、两端 DCGM 可用和全部必需采集器存活,缺失时 fail-closed。</li>
|
||||
<li>首次 Run 的性能数据保留在第 10 节;最终代码尚未在 16 卡上复跑,因此新通信基线和逐指标表暂不填写虚构数值。</li>
|
||||
</ul>
|
||||
@ -669,6 +670,7 @@ dsv4pro_pro6000d_2node_sglang_hardware_contention_attribution/</code></pre>
|
||||
<tr><td>2026-07-31 13:40:03 CST</td><td>完成首轮结果归因</td><td>排除原始双 Rail 带宽饱和、整机 CPU 饱和和频率塌陷作为首要原因;锁定 TP16 Kernel、调度与同步时间线</td></tr>
|
||||
<tr><td>2026-07-31 15:25:00 CST</td><td>完成最终 Phase 2 代码</td><td>提交 <code>30664faa41f8</code>:精确主测量窗口、双节点 DCGM 门禁、5 秒低开销 Host 采样、PCIe/NCCL 基线和逐指标自动报告均已通过本地验证</td></tr>
|
||||
<tr><td>2026-07-31 16:18:35 CST</td><td>修复 Worker 通信代码路径</td><td>提交 <code>39fc2ba565a3</code>:通信脚本按 Run 自动分发并校验哈希,Worker 不再要求存在同路径 Git 仓库;9/9 回归测试通过</td></tr>
|
||||
<tr><td>2026-07-31 16:27:58 CST</td><td>双节点通信 smoke test</td><td>1 MiB 最小功能验证完整通过 P2P、8-rank 和 16-rank AllReduce;仅验证链路,不作为正式带宽数据</td></tr>
|
||||
</tbody>
|
||||
</table>
|
||||
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user