DSV4-Pro 双机 Pro6000D SGLang 硬件竞争归因：代码详解

返回推理优化主计划 · 打开 Phase 2 实验档案

1. 阅读导航

• 总体控制流
• 文件职责与调用关系
• 配置来源
• 通信微基准
• 采集器实现
• 精确测量窗口
• 逐指标报告
• 函数行号索引

2. 总体控制流

main "$@" → run_all
  ├─ validate_config
  ├─ preflight_node_tools
  │    └─ 两节点 dcgmi discovery -l 必须成功
  ├─ preflight_clock_sync + preflight_gpus_idle
  ├─ run_communication_baseline
  │    ├─ 两节点 CUDA P2P 全矩阵
  │    ├─ 两节点各自 8-rank AllReduce
  │    └─ 16-rank AllReduce，CROSS_NIC=0/1/2
  ├─ start_service → Phase 1 start
  ├─ capture_static_snapshots before
  ├─ start_collectors → Head/Worker 同时采集
  ├─ idle → fixed cases → mixed A/B → cooldown
  ├─ check_collectors + stop_collectors
  ├─ capture_static_snapshots after
  ├─ stop_service → Phase 1 stop
  ├─ summarize_results
  │    └─ 按正式 benchmark 窗口生成第 5 节逐项数据表
  └─ finish_manifest

all 是唯一正式入口。communication、summarize 和 stop 是排错/恢复 action，不需要在正常执行前手工调用。

3. 文件职责与调用关系

用户
  └─ Phase2/run_hardware_contention_attribution.sh all
       ├─ source Phase2/config.env
       ├─ docker/torchrun → Phase2/communication_baseline.py
       ├─ env ... bash Phase1/run_quick_map.sh start/fixed/mixed/stop
       │    └─ Phase1/quick_map_results.py 写 benchmark meta
       ├─ Shell 采集 Head/Worker 原始时间序列
       └─ Phase2/hardware_contention_attribution.py summarize
            ├─ 读取 Phase1 bench/cases/*/meta.json
            ├─ 读取 Head/Worker 原始监控
            ├─ 读取 communication/COMM_RESULT
            └─ 输出逐 Case、逐节点、逐指标表和 report.md

3.1 Phase 1 与 Phase 2 的边界

4. 配置来源

MEM_FRACTION_STATIC 不在 Phase 2 重复定义。它仍来自 Phase 1， 最终展开为 SGLang 的 --mem-fraction-static。判断某次 Run 的真实值， 应读取 service/head_server_cmd.txt，不能只看默认配置。

5. 通信微基准

5.1 Shell 如何编排

run_hardware_contention_attribution.sh:L281-L513 负责源码暂存、 Docker 命令、两节点同步和清理。所有命令先写入 commands/*.txt：

• L281-L319：从 Head 将当次通信脚本暂存到两节点并校验 SHA256。
• L321-L374：构造容器命令，Head/Worker 各跑一次 P2P。
• L376-L404：Head/Worker 各跑一次 8-rank AllReduce。
• L406-L467：每个 CROSS_NIC 值先启动 Worker rank，再运行 Head rank。
• L469-L513：只清理本实验前缀的通信容器和本次 `/tmp` 暂存目录。

Docker 使用和 SGLang 一致的 CUDA 13 nightly 镜像，并显式透传 rdma_cm、uverbs0、uverbs3。 NCCL_DEBUG=INFO 只在微基准中打开，用于证明 NET/IB/GDRDMA 路径。 Worker 不要求存在 Git 仓库；容器只读挂载自动分发的 /tmp/.../<RUN_ID>/communication_baseline.py。结果目录同时保存 当次源码副本和 SHA256，避免两个节点 checkout 不一致造成版本漂移。

5.2 P2P 代码

communication_baseline.py:L45-L106 遍历所有源 GPU 和目标 GPU， 先调用 torch.cuda.can_device_access_peer，再对 256 MiB FP16 Tensor 做预热和 CUDA Event 计时。输出包括方向、P50/P95 latency 和 GB/s。 汇总器按拓扑拆成同 PCIe Switch 的 PIX 与跨 NUMA 的 SYS。

5.3 AllReduce 代码

communication_baseline.py:L107-L198 初始化 NCCL process group， 对 1 MiB、64 MiB、1 GiB 分别预热和重复测量。每轮先把各 rank latency gather 到 rank 0，使用最慢 rank 作为 collective 完成时间，并检查归约结果：

algbw = message_bytes / latency
busbw = algbw × 2 × (world_size - 1) / world_size
wrong_values = count(output != expected_sum)

这样不会用某个提前返回 rank 的时间美化结果；wrong_values=0 才算正确完成。

6. 两节点采集器

6.1 启动前门禁

Shell L67-L199 完成配置、工具、时钟和 GPU 空闲检查。 preflight_node_tools 不只检查 dcgmi 文件存在， 还实际运行 dcgmi discovery -l；两节点任一 Host Engine 不可用即退出。

6.2 采集器包装

start_stream_collector 位于 Shell L517-L551。 它保存完整命令、PID、唯一进程 tag 和日志；check_collectors 在 L722-L740 检查采集器是否提前退出，默认不允许部分成功。

CPU、进程、perf 和 sar 的每行均由 Shell 增加 wall_time_ns TAB node TAB payload。NUMA 直接转成结构化 CSV， 避免旧版线程级 1 秒日志过大，也让所有指标能按 Case 切片。

7. 精确测量窗口

7.1 Phase 1 如何标记主测量

Phase 1 run_quick_map.sh:L547-L564 每 100 ms 观察 bench 日志； 发现 Starting main benchmark run 后调用 quick_map_results.py mark-measurement-start。 quick_map_results.py:L340-L385 用这个起点和 bench.json.duration 生成：

measurement_started_at
measurement_ended_at
measurement_duration_s
measurement_window_source = bench_main_marker_plus_duration

7.2 Phase 2 如何使用

hardware_contention_attribution.py:L509-L560 优先读取上述字段。 只有兼容旧结果时才可能使用进程级窗口；正式配置 REQUIRE_PRECISE_WINDOWS=1 会拒绝任何 fallback。 L561-L841 对 GPU、DCGM、CPU、进程、perf、NUMA、netdev 和 RDMA 使用同一个 started_ns ≤ sample ≤ ended_ns 条件。

8. 逐指标报告

Python summarize 位于 hardware_contention_attribution.py:L1036-L1378。 它不只生成一个抽象结论，而是按 Phase 2 第 5 节依次写出：

report.md 对每组都打印有效样本数、Mean/P95/Max、Head/Worker 或 Case 间比较和源文件。解析不到的值保留为 -，不会被写成 0。

9. 结果目录

results/<RUN_ID>/
  manifest.json
  commands/
  communication/
  service/
  bench/<phase1-sub-run>/
  head/
    gpu_samples.csv
    dcgm_dmon.log
    mpstat.log
    pidstat.log
    perf_stat.log
    sar_net.log
    numa_samples.csv
    rdma.csv
    collector_commands/
  worker/
    ...同上...
  case_windows.csv
  bench_summary.csv
  case_gpu_summary.csv
  case_gpu_node_summary.csv
  case_dcgm_summary.csv
  case_cpu_summary.csv
  case_process_summary.csv
  case_perf_summary.csv
  case_numa_summary.csv
  case_netdev_summary.csv
  case_rdma_summary.csv
  communication_summary.csv
  communication_aggregate.csv
  summary.json
  report.md

10. 函数行号索引

10.1 Shell 编排器

10.2 Python 文件

11. 最终 Run 证据

正式 Run 完成 8/8 benchmark、8/8 精确测量窗口和 18/18 采集器启停。 代码产生的各类输出与实验结论一一对应：

• manifest.json：Run 身份、提交、时间和最终状态。
• bench_summary.csv：8 个端到端结果。
• case_windows.csv：正式 benchmark 精确时间窗。
• collector_status.csv：两节点采集器生命周期。
• report.md：逐指标自动报告。
• analysis.md：阶段归因与 Phase 3 入口。