sskj/experiments at f33c5f1d3dd892ad318837776343e89691c18f27 - sskj

History

shishi f33c5f1d3d fix(deploy): DP_FLAG 未达 BOOTSTRAP 启动命令 + bench 的 model/tokenizer 分离

- profile.py: DP_FLAG 追加到 LAUNCH_ARGS 与 BOOTSTRAP（BOOTSTRAP 的 ${LAUNCH_ARGS}
  引用在 env 解析阶段已内联，必须直接 append 到 BOOTSTRAP 末尾），并改为用
  rendered 作模板展开源；修复 910c TP4/DP4 启动退化为 TP4 单 DP 布局导致
  专家权重不分片 OOM(61.3GB/die) 的问题（顺带修复 p800/pro6000 同类隐患）
- cli.py/runner.py: bench 的 API model 名改用 SERVED_MODEL_NAME（vLLM 严格校验），
  tokenizer 独立用 MODEL_PATH 路径并 --tokenizer 透传、docker client 挂载；
  修复 910c/vLLM 场景 404 Not Found
- dsv4 910c profile 恢复标准加载参数(prefetch+multithread)；config.env per-TP
  max-model-len 默认改为已验证值(32768/65536/131072)
- 实测: 910c TP4/DP4 16-worker 布局启动健康, sskj.bench smoke 40/40
  (TTFT 1667ms, TPOT 35.4ms)

2026-08-03 16:41:29 +08:00

910c

fix(deploy): DP_FLAG 未达 BOOTSTRAP 启动命令 + bench 的 model/tokenizer 分离

2026-08-03 16:41:29 +08:00

h20

Add vLLM TP×DP matrix benchmarking scripts and Docker support

2026-07-23 02:06:47 +00:00

h200

docs: consolidate project docs (dedup, relocate, expand 910C client guide)

2026-07-29 11:52:42 +08:00

p800

feat(ops): add unified bench/deploy layers and P800 profile