ruoxi_sun
4f274c2c32
- fingerprint benchmark: add fp_fusion(26-cell fusion) to collect_results/run.py - run_llmmap.py: default model path to evalstone built-in model_library - add model libraries (llmdetector 11 refs / fp_fusion 8 fusion refs / llmmap templates 60 models incl 8 new: GLM-5.2/5.3, DeepSeek-Flash/Pro/ Flash-0731, Kimi-K3, MiniMax-M2.7, TianGong-Taie) - add fp_fusion engine (battery/engine/scorer) + docs - gitignore: exclude binary model weights and temp backups
37 lines
2.5 KiB
Markdown
37 lines
2.5 KiB
Markdown
# FP-Fusion 参考指纹库（自包含）
|
||
|
||
同协议（one-token/v1）可信参考指纹，供 `--reference` / `--detector-reference` 使用。
|
||
|
||
| 文件 | 真实模型 | 采样来源 | 日期 |
|
||
|---|---|---|---|
|
||
| qwen3-4b_reference.json | Qwen3-4B | :30002 (CPU, 官方权重) | 2026-08-21 |
|
||
| glm520_reference.json | GLM-5.2 | :30000 (P800, 官方权重) | 2026-08-21 |
|
||
| qwen3-8b_reference.json | Qwen3-8B | :30003 (CPU, 官方权重) | 2026-08-28 |
|
||
| glm53_reference.json | GLM-5.3 | api.vectron.meta-stone.com (ZhipuAi/GLM-5.3) | 2026-09-01 |
|
||
| deepseek_v4_flash_reference.json | DeepSeek-V4-Flash | api.vectron.meta-stone.com (DeepSeek/DeepSeek-V4-Flash) | 2026-09-01 |
|
||
| kimi_k3_reference.json | Kimi-K3 | api.vectron.meta-stone.com (MoonshotAi/Kimi-K3) | 2026-09-01 |
|
||
| deepseek_v4_pro_reference.json | DeepSeek-V4-Pro | api.vectron.meta-stone.com (DeepSeek/DeepSeek-V4-Pro) | 2026-09-01 |
|
||
| glm52_vectron_reference.json | GLM-5.2 (vectron) | api.vectron.meta-stone.com (ZhipuAi/GLM-5.2) | 2026-09-02 |
|
||
| minimax_m27_reference.json | MiniMax-M2.7 | api.vectron.meta-stone.com (MiniMax/MiniMax-M2.7) | 2026-09-02 |
|
||
| tiangong_taie_reference.json | TianGong/Taie | api.vectron.meta-stone.com (TianGong/Taie) | 2026-09-02 |
|
||
| deepseek_v4_flash_0731_reference.json | DeepSeek-V4-Flash-0731 | api.vectron.meta-stone.com (DeepSeek/DeepSeek-V4-Flash-0731) | 2026-09-02 |
|
||
|
||
采集命令（detector CLI, strict 建议）:
|
||
node dist/cli.js fingerprint --base-url <可信端点>/v1 --model <模型名> \
|
||
--preset strict --out references/<名字>_reference.json
|
||
|
||
注意: 参考会随上游静默更新而漂移，高置信场景请定期重采。
|
||
|
||
|
||
## fp_fusion 独立参考（26-cell，区分于 llmdetector 的 16-cell）
|
||
|
||
fp_fusion 的 D 层 = llmdetector 16 cells + **10 个新增 cell**（binary-season/pet/sea-mountain/tea-coffee + day-of-week，×中英）。
|
||
为让 fp_fusion 作为独立 benchmark 真正用上新增 cell，参考指纹**分开采样**：
|
||
- 16 个共享 cell：直接复用 detector CLI 采集的 `*_reference.json`
|
||
- 10 个新增 cell：`collect_fp_extra_reference.py --api-key ... --model ... --out <extra>.json`
|
||
（复用 fp_fusion engine 的归一化逻辑，中英各 25 条；中文 binary cell 因归一化规则
|
||
不识别中文回答为有效，与 fp_fusion 运行时行为一致，自动被 min_valid 过滤）
|
||
- 合并：`merge_fusion_reference.py` → `*_fusion_reference.json`（26 cells, one-token/v1）
|
||
|
||
llmdetector 比对继续用 16-cell 的 `*_reference.json`；fp_fusion 比对用 `*_fusion_reference.json`。
|