qqtang/sskj - sskj - 是石科技代码管理系统

qqtang/sskj

Fork 0

Commit Graph

Author	SHA1	Message	Date
yy-fighting	31a21631b8	fix(parse_results): 不再把 raw_requests 嵌入 results.json，避免 8.5MB 膨胀 parse_jsonl 当 raw 文件是单个聚合 JSON 对象时返回 [data](整个聚合含 itls/generated_texts 数组)，原代码把它当 raw_requests[:100] 塞进 scenario，导致单次 bench 的 results.json 膨胀到 12.5MB(itls 6.95MB + generated_texts 1.54MB)。而真正有用的聚合百分位已在 latencies 字段(~0.5KB)，逐请求原始数据已在 raw_outputs/*.jsonl，raw_requests 字段纯冗余。 - 移除 scenario dict 的 raw_requests 字段; parse_jsonl 返回值改用 _ 接收 - 符合 BENCHMARK_WORKFLOW.md: 产生大量请求时逐请求数据存 raw_outputs, results.json 只留聚合百分位 - 实测 qwen3_235b results.json: 12.52MB -> ~KB - 同步修改 4 份相同 md5 的 parse_results.py(本提交含 3 份 tracked; qwen3_8b 未跟踪待随实验提交) Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-21 10:05:31 +00:00
SSKJ Dev	a4e38b9e33	Reorganize experiments into hardware-specific subdirectories Move all experiments under hardware-specific folders: - experiments/h200/ : H200 GPU experiments (15 dirs) - experiments/h20/ : H20 GPU experiments (2 dirs) - experiments/p800/ : Kunlun P800 experiments (3 dirs) - experiments/pro6000/ : RTX 6000D experiments (2 dirs) This improves discoverability and keeps hardware-specific configs isolated from each other.	2026-07-16 04:11:07 +00:00

Author

SHA1

Message

Date

yy-fighting

31a21631b8

fix(parse_results): 不再把 raw_requests 嵌入 results.json，避免 8.5MB 膨胀

parse_jsonl 当 raw 文件是单个聚合 JSON 对象时返回 [data](整个聚合含
itls/generated_texts 数组)，原代码把它当 raw_requests[:100] 塞进 scenario，
导致单次 bench 的 results.json 膨胀到 12.5MB(itls 6.95MB + generated_texts 1.54MB)。
而真正有用的聚合百分位已在 latencies 字段(~0.5KB)，逐请求原始数据已在
raw_outputs/*.jsonl，raw_requests 字段纯冗余。

- 移除 scenario dict 的 raw_requests 字段; parse_jsonl 返回值改用 _ 接收
- 符合 BENCHMARK_WORKFLOW.md: 产生大量请求时逐请求数据存 raw_outputs, results.json 只留聚合百分位
- 实测 qwen3_235b results.json: 12.52MB -> ~KB
- 同步修改 4 份相同 md5 的 parse_results.py(本提交含 3 份 tracked; qwen3_8b 未跟踪待随实验提交)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-21 10:05:31 +00:00

SSKJ Dev

a4e38b9e33

Reorganize experiments into hardware-specific subdirectories

Move all experiments under hardware-specific folders:
- experiments/h200/     : H200 GPU experiments (15 dirs)
- experiments/h20/      : H20 GPU experiments (2 dirs)
- experiments/p800/     : Kunlun P800 experiments (3 dirs)
- experiments/pro6000/    : RTX 6000D experiments (2 dirs)

This improves discoverability and keeps hardware-specific configs
isolated from each other.

2026-07-16 04:11:07 +00:00

2 Commits