stop tracking fingerprint markdown docs (keep files on disk)

2026-09-03 02:36:45 +00:00 · 2026-09-03 02:36:45 +00:00 · 2f4bbfe871
commit 2f4bbfe871
parent b28828f3e7
4 changed files with 0 additions and 731 deletions
--- a/FINGERPRINT_BENCHMARKS_RUN.md
+++ b/FINGERPRINT_BENCHMARKS_RUN.md
@ -1,398 +0,0 @@
-# 指纹 / 模型安全三件套：功能详解 + 运行手册（llmmap · llm_verify · llm_fingerprint_detector）
-
-> 本文档说明已接入 evalstone 的三个指纹 / 模型安全 benchmark。
-> 三者**不经过 EvalScope 数据集管线**，由 `bash/fingerprint/` 下的独立执行器直接探测被测端点，
-> 但产出与 EvalScope 同构的报告，`collect_results.py` 可像普通 benchmark 一样汇总进 CSV/Excel。
-> 相关代码入口：`bash/run.py` 的 `--suite fingerprint` / `ALL_FINGERPRINT`（`bash/run.py:138`）。
-> 理论说明见 `/data1/xii/model_fingerprint_detection.md`，实现注意见 `bash/fingerprint/README.md`。
-
---
-
-## 目录
-
- [0. 三件套是什么（30 秒版）](#0-三件套是什么30-秒版)
- [1. 功能详解 / 识别粒度：识别"模型"还是"模型家族"？](#1-功能详解--识别粒度识别模型还是模型家族)
- [2. 支持哪些模型（三件套各自的能力边界）](#2-支持哪些模型三件套各自的能力边界)
- [3. 线上公开数据 / 别人测过的数据](#3-线上公开数据--别人测过的数据)
- [4. 前置条件](#4-前置条件)
- [5. 一条命令跑完三个（fingerprint 套件）](#5-一条命令跑完三个fingerprint-套件)
- [6. 单独跑某一个（含各工具独立用法）](#6-单独跑某一个含各工具独立用法)
- [7. 参数速查表](#7-参数速查表)
- [8. 输出与结果汇总](#8-输出与结果汇总)
- [9. 实测示例](#9-实测示例)
- [10. 常见坑 / 排障](#10-常见坑--排障)
- [11. 参考](#11-参考)
-
---
-
-## 0. 三件套是什么（30 秒版）
-
-| benchmark | 工具仓库 | 一句话定位 | 得分含义（0~1） |
-|---|---|---|---|
-| `llmmap` | [LLMmap](/data1/xii/LLMmap) | **模型身份识别**："这段回答是哪个模型写的？"（open-set 检索） | 无 `--expected-model` 时 = 距离置信度；有 = Top-1 身份严格匹配 flag（1.0/0.0） |
-| `llm_verify` | [llm-verify](/data1/xii/llm-verify) | **API 欺诈检测**："这个 API 是不是在骗我？"（红旗+裁决） | `NO_FRAUD_SIGNALS`=1.0 / `INCONCLUSIVE`=0.5 / `SUSPICIOUS`=0.25 / `FRAUD_DETECTED`=0.0 |
-| `llm_fingerprint_detector` | [llm-fingerprint-detector](/data1/xii/llm-fingerprint-detector) | **单 token 分布验证**："它是不是它声称的那个模型？"（JSD 比对） | `max(0, 1-meanJSD)`；无参考时跑"自一致"模式（采两次互比） |
-
-共同核心思想：把被测端点当成"未知模型"，靠**固定的探测问题 + 回答模式**来认出它 / 判断它有没有撒谎，
-而不是相信模型自称的身份。
-
---
-
-## 1. 功能详解 / 识别粒度：识别"模型"还是"模型家族"？
-
-这是三个工具**本质区别**的地方。先给结论，再逐个展开：
-
-| 工具 | 能识别**精确模型**？ | 能识别**模型家族**？ | 本质工作方式 |
-|---|---|---|---|
-| **LLMmap** | ✅ 模板库内的模型可精确指认 | ✅ 库外模型可"归族"（最邻近检索，通常落在同家族/同规模附近） | open-set 无监督检索（52 个模板 + 预训练编码器） |
-| **LLM Verify** | ❌ 不回答"是谁" | ❌ 不做身份/家族归因 | 只判"行为与声称是否一致"+ 收集欺诈信号 |
-| **llm-fingerprint-detector** | ✅ 有参考时精确验证"是不是某模型" | 🟡 可通过距离分档看出"家族亲疏" | 与给定参考做二值比对（match/uncertain/mismatch），不做 open-set 检索 |
-
-### 1.1 LLMmap —— 模型与家族都能识别
-
- **工作流程**：发 8 条固定指纹查询（identity/probe/越狱等）→ 收集回答 → 用预训练编码器把"查询+回答"编码成 384 维指纹向量 → 与 52 个已知模板做 open-set 距离检索 → 输出 Top-K（距离越小越像）。
- **精确识别**：当被测模型**在 52 个模板库内**时，能精确指认到具体模型名（如 `meta-llama/Meta-Llama-3.1-8B-Instruct`）。
- **家族归因**：当被测模型**不在库内**（如全新模型）时，退化为 open-set 最近邻——输出距离最近的 Top-K，通常落在**同家族 / 同规模**的模型上，即"归族"。本机实测：Qwen3-4B（库外）→ Top-1 = `Qwen/Qwen2.5-3B-Instruct`（Qwen 家族），距离 13.9 vs 次近 50.9，断层明显。
- **想精确识别库外模型**：跑 `add_new_template.py` 入库（无重训，但每模型要 N×8 次完整生成，CPU 上很慢）。入库前只能归族，不能精确指认。
- **本机评估精度**：`python test_model.py ./data/pretrained_models/default -k 3` 可在作者测试集上评估 Top-K 准确率。
-
-### 1.2 LLM Verify —— 不做身份识别，只做欺诈裁决
-
- **工作流程**：对端点跑 32 条取证探测（identity / capability / fingerprint 三套件）→ 收集回答文本 + 延迟 + token 用量 + 错误 → 多路信号分析（身份一致性 / 知识截止一致性 / 能力边界 / 代理信号 / 相似性）→ 汇总红旗（按严重级排序）→ 裁决。
- **识别粒度**：它**不回答"这模型是谁"**，也**不做家族归因**。它的输出是"这个端点有没有在骗人"：
-  - 例如红旗下"自称 gpt-4，而请求的是 Qwen3-4B"——它只能发现"声称与请求不符"，不能告诉你是哪个模型；
-  - 它能做的是**交叉比对**：多个声称"不同型号"的端点是否其实是**同一个底层模型**（相似度>阈值判为同一）。
- **裁决等级（fail-closed）**：`FRAUD_DETECTED`(0.0) / `SUSPICIOUS`(0.25) / `INCONCLUSIVE`(0.5) / `NO_FRAUD_SIGNALS`(1.0)。证据不足**绝不判清白**：至少 8 条成功探测且成功率≥80% 才算证据充分。
-
-### 1.3 llm-fingerprint-detector —— 验证"是不是它"，不做开放集识别
-
- **工作流程**：对端点采样**单 token 输出分布**（随机数字/颜色/字母/动物/抛硬币等 16 个 cell，中英文，`temperature=1.0`、`max_tokens=16`、关隐藏思考）→ 与**参考指纹**逐 cell 算 JSD → 按论文基线尺度给出 match/uncertain/mismatch。
- **识别粒度**：
-  - 它不做 open-set 检索，**必须给一个参考指纹**才能下结论（"它是不是参考那个模型"）；
-  - 距离本身能体现**家族亲疏**：论文公开基线上，同模型 JSD≈0.14、同模型不同 provider≈0.227、不同模型≈0.463。本机实测：Qwen3-4B vs qwen3-30b（同族）=0.271；Qwen3-4B vs llama=0.682、vs kimi=0.600（异族）。
- **无参考时的"自一致模式"**（evalstone 默认）：采两次互比，看端点**自己稳不稳定**——能暴露"聚合器轮换后端"，但**不能证明身份**。
-
---
-
-## 2. 支持哪些模型（三件套各自的能力边界）
-
-### 2.1 LLMmap —— 内置 52 个模板（全列表）
-
-模板文件：`LLMmap/data/pretrained_models/default/templates.json`，共 **52 个模型**：
-
-| 家族 | 模型 |
-|---|---|
-| **Qwen** | Qwen2-1.5B / 7B / 72B-Instruct、Qwen2.5-0.5B / 3B-Instruct |
-| **Llama** | Llama-2-7B-chat、Llama-3-8B / 70B-Instruct、Llama-3.1-8B / 70B-Instruct、Llama-3.2-1B / 3B-Instruct、Llama-3-8B-Gradient-1048k、Llama-2-7B-32K |
-| **GPT/Claude（API 采样）** | gpt-3.5-turbo、gpt-4-turbo-2024-04-09、gpt-4o-2024-05-13、claude-3-opus/haiku/sonnet |
-| **Gemma** | gemma-2b / 7b / 1.1-2b / 1.1-7b / 2-9b / 2-27b |
-| **Phi** | Phi-3-mini / medium (4k/128k)、Phi-3.5-mini / MoE |
-| **Mistral/Mixtral** | Mistral-7B-Instruct v0.1/v0.2/v0.3、Mixtral-8x7B-v0.1 |
-| **其他** | aya-23-8B/35B、zephyr-7b-beta、Nous-Hermes-2-Mixtral、Smaug-Llama-3-70B、granite-3.0/3.1-8b、internlm2_5-7b-chat、Falcon3-7B/10B、Phi-3 系、openchat-3.5/3.6、SOLAR-10.7B、EuroLLM-1.7B 等 |
-
- **支持新增**：库外模型先用"归族"；要精确识别就 `add_new_template.py <名字> <类型> --num_prompt_confs N` 入库（类型 0=HF / 1=OpenAI / 2=Anthropic）。
- 注意 LLMmap0.2 是 PyTorch 重制版，`add_new_template` 目前主要支持 HF 后端。
-
-### 2.2 LLM Verify —— 无模型库，任意兼容端点
-
- **没有任何模型库/模板**。只要能连上的 OpenAI / Anthropic / 兼容端点，`model_configs` 里加一行就能测（`provider`：`openai` / `anthropic` / `suspect` / `generic`；`protocol` 自动推断）。
- "支持哪些模型"= **全部**，代价是它不识别身份，只管欺诈信号。
- 想横向对比时，官方建议用免费层拿官方基线：**Gemini**（15 RPM 免费）、**Mistral**（试用额度）、**Groq**、**OpenRouter**（部分模型免费）。
-
-### 2.3 llm-fingerprint-detector —— 11 个内置参考 + 任意模型自采
-
-内置参考（`node dist/cli.js references` 列出，论文公开数据集采样，2026-07-08 采集，15 cells）：
-
-| 内置 reference id（也直接可作 `--detector-reference`） |
-|---|
-| `mistralai/mistral-small-3.2-24b-instruct` |
-| `moonshotai/kimi-k2` |
-| `deepseek/deepseek-chat` |
-| `meta-llama/llama-3.1-8b-instruct` |
-| `qwen/qwen3-30b-a3b-instruct-2507` |
-| `openai/gpt-4o` · `openai/gpt-4o-mini` · `openai/gpt-4.1-mini` |
-| `google/gemini-2.5-flash` |
-| `z-ai/glm-4.5` |
-| `anthropic/claude-sonnet-4.5` |
-
- 之外任意模型：只要用 `fingerprint --out xxx.json` 对可信端点采一份**同协议参考**，立刻就能验证（每模型约 100~400 次单 token 请求）。
- 本机已备同协议参考：`qwen3-4b_reference.json`（Qwen3-4B）、`glm520_reference.json`（GLM-5.2）。
- 注意：这 11 个内置参考用**论文协议**采样，与本机 `one-token/v1` 协议对比**仅指示性**（`protocolMismatch` 标志）。
-
---
-
-## 3. 线上公开数据 / 别人测过的数据
-
-| 工具 | 公开论文 | 公开数据集 | 在线 Demo / 他人测试数据 |
-|---|---|---|---|
-| **LLMmap** | ✅ [arXiv:2407.15847](https://arxiv.org/pdf/2407.15847)，**USENIX Security 2025**（Pasquini 等） | 🟡 论文方法公开，作者测试过当时 50+ 模型；本仓库自带 52 模板 + 预训练模型 + 测试集可本地复现（`test_model.py -k 3` 评估 Top-K 精度） | ❌ 无官方在线 Web 工具；仓库内 `results/` 是本机自测数据 |
-| **LLM Verify** | 🟡 开源项目 README 附**真实案例演示**（调查 opuscode.pro 等模型转卖站） | ❌ 无公开测试数据集；裁决靠本地跑 32 条探测 + 你的基线端点 | 🟡 无在线服务版；可用免费层 API 自建官方基线 |
-| **llm-fingerprint-detector** | ✅ [arXiv:2607.10252](https://arxiv.org/abs/2607.10252)（"One Token Is Enough"，Bruckner） | ✅ **Zenodo 公开数据集**：DOI [10.5281/zenodo.21278557](https://doi.org/10.5281/zenodo.21278557)（CC-BY-4.0，含 11 个模型的单 token 采样数据，即内置参考的来源）；论文代码 DOI 10.5281/zenodo.21278793 | ✅ **在线 Web 版**：[tosea.ai/free-tools/llm-api-fingerprint-checker](https://tosea.ai/free-tools/llm-api-fingerprint-checker)（纯浏览器运行，免费免安装）；**论文公开基线**：同模型 JSD≈0.14 / 同模型异 provider≈0.227 / 不同模型≈0.463 |
-
-> 一句话：想引用"别人测过的数据"——LLMmap 看 USENIX Security 25 论文；detector 有 Zenodo 公开数据集 + 在线网页工具可直接试；LLM Verify 没有公开数据，但自带真实转卖站案例分析。
-
---
-
-## 4. 前置条件
-
-### 4.1 需要的东西
-
-| 项 | 容器内（推荐，零配置） | 宿主机直接跑 |
-|---|---|---|
-| 代码仓库 | 镜像内置：`/opt/evalscope` | `/data1/eval/evalstone` |
-| 三个工具仓库 | 镜像内置：`/opt/fptools/{LLMmap,llm-verify,llm-fingerprint-detector}` | `/data1/xii/{LLMmap,llm-verify,llm-fingerprint-detector}` |
-| LLMmap 解释器 | `LLMMAP_PYTHON=/usr/local/bin/python3`（已烘入） | `/root/miniconda3/envs/llmmap/bin/python`（torch+transformers+e5 缓存） |
-| LLM Verify 解释器 | `LLMVERIFY_PYTHON=/usr/local/bin/python3`（已烘入） | `/root/miniconda3/envs/llmverify/bin/python`（fastapi+httpx） |
-| detector 运行时 | Node ≥18.17，`DETECTOR_NODE=node`（已烘入） | 任意 Node，仓库已 `npm run build` |
-| 参考指纹 | `/opt/fptools/llm-fingerprint-detector/*_reference.json` | 同 schema 的 json |
-
-> 容器镜像：`evalscope-complete-py312-fp:v2`（自包含，load 后零配置）。
-> 容器以 **host 网络**运行，因此容器内直接访问 `localhost:30000` / `localhost:30002` 等宿主机端点即可。
-
-### 4.2 进入容器（如果走容器跑法）
-
-```bash
-docker run -d --name fp --network host evalscope-complete-py312-fp:v2 bash
-docker exec -it fp bash
-cd /opt/evalscope
-```
-
---
-
-## 5. 一条命令跑完三个（fingerprint 套件）
-
-```bash
-python bash/run.py --suite fingerprint \
-  --model <被测端点的模型名> \
-  --api-url <OpenAI 兼容端点>/v1
-```
-
-示例（容器内，测 CPU 上的 Qwen3-4B 测试端点 :30002）：
-
-```bash
-cd /opt/evalscope
-python bash/run.py --suite fingerprint \
-  --model Qwen3-4B \
-  --api-url http://localhost:30002/v1
-```
-
-套件 = `llmmap` + `llm_verify` + `llm_fingerprint_detector` 三个依次跑完，
-每个跑完自动写报告并刷新 summary（`results/<model>.xlsx/.csv`）。
-
---
-
-## 6. 单独跑某一个（含各工具独立用法）
-
-### 6.1 llmmap —— 这模型是谁？
-
-**evalstone 集成方式：**
-
-```bash
-python bash/run.py --datasets llmmap \
-  --model Qwen3-4B --api-url http://localhost:30002/v1
-```
-
- 发送 8 条指纹查询 → 编码回答 → 与 52 模板 open-set 检索 → Top-K。
- `--expected-model`（已知真实身份时）：score 变严格匹配 flag（1.0/0.0）：
-
-```bash
-python bash/run.py --datasets llmmap \
-  --model GLM-5.2-w4a8-p800-2 --api-url http://localhost:30000/v1 \
-  --expected-model GLM-5.2-w4a8-p800-2
-```
-
-**工具独立用法**（`/data1/xii/LLMmap`，环境 `llmmap`）：
-
-```bash
-cd /data1/xii/LLMmap
-PY=/root/miniconda3/envs/llmmap/bin/python
-
-# ① 交互式：人工发查询、粘贴回答
-$PY main_interactive.py --inference_model_path ./data/pretrained_models/default
-
-# ② 非交互：回答文件每行一条(8条) → 识别 Top-K
-$PY run_identify.py answers.txt -k 6 --device cpu
-
-# ③ 自动：对本地 HF 模型一条龙（发查询→收回答→识别）
-$PY run_real_identify.py --model_dir /data1/models/Qwen3-4B \
-     --k 6 --device cpu --save_answers qwen_answers.txt
-
-# ④ 入库新模型（精确指认库外模型）
-$PY add_new_template.py my-new-model 0 --num_prompt_confs 100
-
-# ⑤ 在作者测试集上评估 Top-K 精度
-$PY test_model.py ./data/pretrained_models/default -k 3
-```
-
-已知坑：`LLMmap/llm.py` 的 HF 后端强制要求 `HUGGINGFACE_API_KEY`（本地也给假 key）；入库慢（CPU 200 次生成几小时）。
-
-### 6.2 llm_verify —— 这个 API 是不是在骗我？
-
-**evalstone 集成方式：**
-
-```bash
-python bash/run.py --datasets llm_verify \
-  --model Qwen3-4B --api-url http://localhost:30002/v1
-```
-
- 跑 32 条取证探测 → 红旗 → 裁决。可选 `--protocol`、`--suites`、`--bench-timeout`。
-
-**工具独立用法**（`/data1/xii/llm-verify`，环境 `llmverify`，FastAPI 服务）：
-
-```bash
-cd /data1/xii/llm-verify
-/root/miniconda3/envs/llmverify/bin/python -m uvicorn src.main:app --host 0.0.0.0 --port 8000
-# 或: benchmarker serve --host 0.0.0.0 --port 8000
-```
-
-```bash
-B=http://localhost:8000
-
-# ① 单套件（identity | capability | fingerprint）
-curl -s -X POST $B/api/v1/benchmarks/ -H "Content-Type: application/json" -d '{
-  "name": "GLM identity", "prompt_suite": "identity",
-  "model_configs": [{"model_name": "GLM-5.2-w4a8-p800-2", "provider": "suspect",
-                     "api_key": "dummy", "api_base_url": "http://localhost:30000/v1"}]}'
-
-# ② 深度分析（最常用：三套件全跑 + 红旗 + 裁决）
-curl -s -X POST $B/api/v1/analysis/deep -H "Content-Type: application/json" -d '{
-  "name": "GLM 全量", "suites": ["identity","capability","fingerprint"],
-  "model_configs": [{"model_name": "GLM-5.2-w4a8-p800-2", "provider": "suspect",
-                     "api_key": "dummy", "api_base_url": "http://localhost:30000/v1"}]}'
-
-# ③ 探测明细 / 行为指纹
-curl -s "$B/api/v1/results/<run_id>"
-curl -s "$B/api/v1/results/<run_id>/fingerprint?model_name=GLM-5.2-w4a8-p800-2"
-
-# ④ 两个 run 对比（同一套件下）
-curl -s -X POST $B/api/v1/results/compare -H "Content-Type: application/json" \
-  -d '{"run_a":"<id>","run_b":"<id>"}'
-```
-
-`model_configs` 字段：`model_name` / `provider`(openai|anthropic|suspect|generic) / `api_base_url`(带 `/v1`) / `api_key`(本地可空/dummy) / `protocol`(留空自动推断)。
-`api_key` 为空时服务会从 env（`SUSPECT_API_KEY`/`OPENAI_API_KEY`）读；evalstone 集成自动填占位 key。
-
-### 6.3 llm_fingerprint_detector —— 单 token 输出分布验证（重点）
-
-**evalstone 集成方式**（两种模式二选一）：
-
-```bash
-# A. 自一致模式（默认）——只证明"端点稳定"，不证明身份
-python bash/run.py --datasets llm_fingerprint_detector \
-  --model Qwen3-4B --api-url http://localhost:30002/v1
-
-# B. 参考验证模式——验证"是不是它声称的模型"，测身份必须用这个
-python bash/run.py --datasets llm_fingerprint_detector \
-  --model Qwen3-4B --api-url http://localhost:30002/v1 \
-  --detector-reference /data1/xii/llm-fingerprint-detector/qwen3-4b_reference.json \
-  --detector-preset strict
-```
-
-**工具独立用法**（`/data1/xii/llm-fingerprint-detector`，Node，已 `npm run build`）：
-
-```bash
-cd /data1/xii/llm-fingerprint-detector
-export LLM_FINGERPRINT_API_KEY=dummy     # 本地端点无鉴权
-
-node dist/cli.js references                                  # ① 列出 11 个内置参考
-node dist/cli.js fingerprint --base-url http://localhost:30000/v1 \
-  --model GLM-5.2-w4a8-p800-2 --preset standard --out ref.json   # ② 采样指纹
-node dist/cli.js verify --base-url http://localhost:30000/v1 \
-  --model GLM-5.2-w4a8-p800-2 --preset standard --reference ref.json   # ③ 验证
-node dist/cli.js compare a.json b.json --json                 # ④ 离线比较两份指纹
-```
-
- **判定标尺**（meanJSD，base 2）：`match ≤ 0.25 < uncertain ≤ 0.35 < mismatch`；CLI 退出码 `0=match, 2=mismatch, 3=uncertain, 4=insufficient, 1=error`；`score = max(0, 1-meanJSD)`。
- **`--detector-reference` 三类来源**：①本地同协议 json（`qwen3-4b_reference.json` / `glm520_reference.json`）；②内置 id（上表 11 个，如 `deepseek/deepseek-chat`，仅指示性）；③自采（`fingerprint --out my_ref.json`）。
- 选项：`--preset quick(4×15)/standard(8×25)/strict(16×25)`、`--cells`/`--samples`、`--concurrency`、`--timeout`(ms)、`--api-key-env`。
- `data/reference-fingerprints.sample.json` 是多模型合集（`models` 数组），**不能**直接当单模型 reference 用。
-
---
-
-## 7. 参数速查表（fingerprint 相关）
-
-| 参数 | 默认值 | 说明 |
-|---|---|---|
-| `--suite fingerprint` | — | 一次跑三个指纹 benchmark |
-| `--datasets <名>` | — | 只跑某一个（`llmmap` / `llm_verify` / `llm_fingerprint_detector`） |
-| `--model` | `DeepSeek-V4-Flash-Int8` | 被测端点暴露的模型名 |
-| `--api-url` | `http://localhost:30000/v1` | OpenAI 兼容端点（必须带 `/v1`） |
-| `--tools-root` | env `FP_TOOLS_ROOT`，默认 `/data1/xii` | 三个工具仓库的父目录 |
-| `--llmmap-python` | env `LLMMAP_PYTHON` | LLMmap 执行器解释器 |
-| `--verify-python` | env `LLMVERIFY_PYTHON` | LLM Verify 执行器解释器 |
-| `--detector-node` | env `DETECTOR_NODE`，默认 `node` | detector 的 Node 可执行文件 |
-| `--detector-reference` | 无 | 参考指纹 JSON 或内置 id；缺省 = 自一致模式 |
-| `--detector-preset` | `standard` | `quick` / `standard` / `strict` |
-| `--expected-model` | 无 | 仅 llmmap：已知真实身份，score 变严格匹配 flag |
-| `--fingerprint-timeout` | 120 | 单请求超时（秒） |
-| `--folder-name` | `--model` | 顶层输出目录名（`output/<folder-name>/...`） |
-| `--seed` | 42 | 报告路径里的 seed |
-
-> 指纹探测（三个执行器）始终给请求注入 `chat_template_kwargs.thinking=false` 关闭思考链，
-> 与 `run.py --thinking` 无关，无需也无法用该参数控制。
-
---
-
-## 8. 输出与结果汇总
-
-每个 benchmark 产出与 EvalScope 同构的报告：
-
-```text
-output/<folder-name>/<benchmark>/seed_<seed>/reports/<benchmark>.json
-```
-
-报告至少含 `score` 和 `num`，另有各自附加字段：
-
-| benchmark | 报告附加字段 |
-|---|---|
-| llmmap | `score_mode`、`top1`（name+distance）、`topk` |
-| llm_verify | `verdict`、`successful_probes`、`avg_latency_ms`、`red_flags[]` |
-| llm_fingerprint_detector | `mode`（reference_verify / self_consistency）、`verdict`、`mean_jsd`、`split_half_jsd`、`reference`、`most_divergent[]` |
-
-另外：
- 计时备份：`output/<folder-name>/active_time/<benchmark>__<model>.json`
- 每个 benchmark 跑完，run.py 自动重写汇总 `results/<model>.xlsx` / `.csv`（指纹类归入分类 **"模型安全与指纹"**）。
- 想只做汇总不重跑：`python bash/collect_results.py --output-dir output/Qwen3-4B --model Qwen3-4B`
-
---
-
-## 9. 实测示例
-
-以下为 Qwen3-4B @ CPU 测试端点 `:30002` 的实测结果，可直接对照：
-
-```
-分类             Benchmark                  得分     实测时间(h)  总样本数
-模型安全与指纹   llmmap                     0.7690   0.08        8     ← Top-1=Qwen/Qwen2.5-3B-Instruct（家族归因，距离 13.9 vs 次近 50.9）
-模型安全与指纹   llm_verify                 0.0      0.06        32    ← FRAUD_DETECTED（自称 gpt-4 + 平均延迟 29.5s 红旗）
-模型安全与指纹   llm_fingerprint_detector   0.92     0.07        4     ← 自一致 match, meanJSD≈0.076
-```
-
-> 注：llm_verify 的 0.25（仅延迟红旗→SUSPICIOUS）与 0.0（多一条身份红旗→FRAUD_DETECTED）
-> 取决于目标端点当时的行为，属正常波动；CPU 端点延迟高导致的延迟红旗是预期现象。
-> detector 的 0.92 是自一致结果，**想证明身份请带 `--detector-reference` 重跑**。
-
---
-
-## 10. 常见坑 / 排障
-
-| 现象 | 原因与处理 |
-|---|---|
-| detector 报 `unsupported formatVersion undefined`，且路径指向 `package.json` 之类 | `--detector-reference` 传的不是单模型指纹 JSON（传成了目录 / package.json / 多模型合集 `data/reference-fingerprints.sample.json`）。改传单模型同协议 json（含 `formatVersion:1` + `model` + `cells`，如 `qwen3-4b_reference.json`）或内置 reference id。自验：`node dist/cli.js compare <ref> <ref> --json`，合法时 `meanJsd=0, verdict=match` |
-| 自一致模式 match 但没法下身份结论 | 正常，自一致只测稳定性。需带 `--detector-reference` 做参考验证 |
-| `LLM Verify` 全部探测失败 | api_key 为空时 httpx 会拒绝空 Bearer 头；执行器会自动填占位 key。若仍失败，检查端点的 `/v1` 路径与 `--fingerprint-timeout` 是否过小 |
-| llmmap 直接 0 分报错 | 超过一半查询失败时执行器判 0 分并报错（避免用空回答算出假距离）。CPU 端点慢可调大 `--fingerprint-timeout` |
-| CPU 端点上 llm_verify 出延迟红旗 | 预期现象（如 29.5s 平均延迟），不是镜像缺陷 |
-| `detector CLI not built` | 工具仓库未 `npm run build`；镜像内已构建，宿主机需自行 `cd llm-fingerprint-detector && npm run build` |
-| 容器里找不到 tools | 镜像内 `FP_TOOLS_ROOT=/opt/fptools`；宿主机用 `--tools-root /data1/xii`（默认） |
-| 全局 `HF_HUB_OFFLINE=1` 导致其他组件异常 | 镜像已把 e5 嵌入模型缓存烘入，llmmap 在进程内部自行离线，不要全局开 HF_HUB_OFFLINE |
-| LLMmap 想精确识别库外模型却只"归族" | 需先 `add_new_template.py` 入库（无重训，但很慢）；入库前只能归族 |
-
---
-
-## 11. 参考
-
- 实现与坑：`bash/fingerprint/README.md`
- 理论说明 / 框架对比 / 扩展性：`/data1/xii/model_fingerprint_detection.md`
- 集成入口：`bash/run.py`（`ALL_FINGERPRINT` / `SUITES['fingerprint']` / `run_fingerprint_benchmark`）
- 汇总：`bash/collect_results.py`（分类"模型安全与指纹"）
- LLMmap 论文：arXiv:2407.15847（USENIX Security 2025）｜ llm-fingerprint-detector 论文：arXiv:2607.10252 + 公开数据集 DOI 10.5281/zenodo.21278557 + 在线版 tosea.ai/free-tools/llm-api-fingerprint-checker
--- a/bash/fingerprint/README.md
+++ b/bash/fingerprint/README.md
@ -1,61 +0,0 @@
-# 指纹 / 模型安全类 Benchmark（llmmap · llm_verify · llm_fingerprint_detector）
-
-本目录包含三个**非 EvalScope 数据集管线**的特殊 benchmark。它们把被测端点当作
-"未知模型"做身份识别与欺诈检测，并产出与 EvalScope 同构的报告
-（`output/<folder>/<bench>/seed_<seed>/reports/<bench>.json`，含 `score` 字段），
-因此 `bash/collect_results.py` 可以像普通 benchmark 一样把它们汇总进 Excel/CSV。
-
-| benchmark | 工具 | 做什么 | 得分含义（0~1） |
-|---|---|---|---|
-| `llmmap` | [LLMmap](/data1/xii/LLMmap) | 发送 8 条指纹查询 → open-set 与 52 个已知模板比距离 | 有 `--expected-model` 时 = Top-1 身份匹配 flag；否则 = 距离置信度 |
-| `llm_verify` | [llm-verify](/data1/xii/llm-verify) | 32 条取证探测（identity/capability/fingerprint）→ 红旗+裁决 | NO_FRAUD_SIGNALS=1.0 / INCONCLUSIVE=0.5 / SUSPICIOUS=0.25 / FRAUD_DETECTED=0.0 |
-| `llm_fingerprint_detector` | [llm-fingerprint-detector](/data1/xii/llm-fingerprint-detector) | 单 token 输出分布采样 → JSD 距离 | `max(0, 1-meanJSD)`；无参考时跑自一致模式（采两次互比） |
-
-## 运行
-
-```bash
-# 整个指纹套件
-python bash/run.py --suite fingerprint \
-  --model <served-model-name> --api-url http://localhost:30000/v1
-
-# 只跑其中一个
-python bash/run.py --datasets llm_verify --model ... --api-url ...
-
-# detector 提供同协议参考指纹（硬比较），缺省为自一致模式
-python bash/run.py --datasets llm_fingerprint_detector \
-  --detector-reference /path/to/reference.json [--detector-preset strict]
-
-# 已知真实身份时，llmmap 输出严格匹配得分（1.0/0.0）
-python bash/run.py --datasets llmmap --expected-model GLM-5.2 ...
-```
-
-## 依赖与环境（重要）
-
-三个工具仓库默认位于 `/data1/xii`（可用 `--tools-root` 覆盖），
-各执行器需要不同的解释器，均可用 CLI 或环境变量覆盖：
-
-| 执行器 | 默认解释器 | 环境变量 | 要求 |
-|---|---|---|---|
-| run_llmmap.py | `/root/miniconda3/envs/llmmap/bin/python` | `LLMMAP_PYTHON` | torch + transformers + 本地缓存的 e5 嵌入模型 |
-| run_llm_verify.py | `/root/miniconda3/envs/llmverify/bin/python` | `LLMVERIFY_PYTHON` | fastapi + httpx + pydantic |
-| run_llm_detector.py | `sys.executable`（任意） | `DETECTOR_NODE` | Node ≥18.17 且仓库已 `npm run build` |
-
-> 在 evalstone 的 Docker 容器内运行时，若容器里没有这些解释器/仓库，
-> 要么把 `/data1/xii` 与 conda 环境挂载进容器，要么在宿主机上运行指纹套件。
-
-## 实现注意（踩过的坑）
-
- 对被测端点默认注入 `chat_template_kwargs.thinking=false` 关闭思考链
-  （可用 `--thinking` 关闭该行为）；思考模型会烧 max_tokens 并扭曲指纹。
- LLM Verify 的适配器在 api_key 为空时会因 httpx 拒绝空 Bearer 头而全失败，
-  runner 已自动填占位 key。
- LLMmap 在超过一半查询失败时直接判 0 分报错，避免用空回答算出假距离。
-
-## 结果示例（Qwen3-4B @ CPU :30002）
-
-```
-分类            Benchmark                 得分    实测时间(h)  总样本数
-模型安全与指纹  llmmap                    0.7115  0.0836       8     ← Top-1=Qwen/Qwen2.5-3B-Instruct
-模型安全与指纹  llm_verify                0.25    0.0601       32    ← SUSPICIOUS(仅延迟红旗)
-模型安全与指纹  llm_fingerprint_detector  0.9239  0.0671       4     ← 自一致 match, meanJSD=0.076
-```
--- a/bash/fingerprint/fp_fusion/README.md
+++ b/bash/fingerprint/fp_fusion/README.md
@ -1,236 +0,0 @@
-# FP-Fusion v1.1 —— 融合型模型指纹基准
-
-> 把 llmmap（开放集家族归因）、llm_verify（欺诈取证/fail-closed）、
-> llm-fingerprint-detector（单 token 分布统计）三家之长合成一个 benchmark：
-> **一次探测、多层证据、加权融合、单一裁决报告。**
->
-> 设计动机与全部实验数据来自真实对抗测试：本机用 Qwen3-8B 权重冒充 Qwen3-4B 部署，
-> 三件套两个全盲、一个半盲，fp_fusion 是唯一给出实锤级裁决的（见 §6 实验记录）。
-
---
-
-## 1. 项目结构（自包含）
-
-```text
-bash/fingerprint/fp_fusion/
-├── README.md             # 本文档
-├── battery.py            # 五层探针电池定义（D/I/K/C/S 共 47 个探针源）
-├── engine.py             # 双池并行调度 + 归一化 + JSD/split-half + 延迟基线
-├── scorer.py             # 四信号评分 + 门控 + 五档裁决 + 红旗（v1.1）
-├── run_fp_fusion.py      # 执行器入口（evalstone 兼容 CLI）
-├── family_aliases.json   # 17 个家族的自称识别别名表（可编辑扩展）
-└── references/           # 自包含参考指纹库
-    ├── README.md         # 参考来源与采集命令
-    ├── qwen3-4b_reference.json   (Qwen3-4B, :30002 CPU, 2026-08-21)
-    ├── glm520_reference.json     (GLM-5.2,  :30000 P800, 2026-08-21)
-    └── qwen3-8b_reference.json   (Qwen3-8B, :30003 CPU, 2026-08-28)
-```
-
-运行副本同步位置：容器 `evalscope-complete-py312-fp:v2` 内 `/opt/evalscope/bash/fingerprint/fp_fusion/`。
-
---
-
-## 2. 探测电池：五层 47 探针（strict 档，一次跑完）
-
-| 层 | 数量 | 内容 | 信号去向 |
-|---|---|---|---|
-| **D** 单token分布 | 21 cells × 20 次 = 420 条 | detector 16 cells（随机数/颜色/字母/动物/城市/硬币/最爱数字 ×中英）+ 新增 4 个二元偏好 + 星期几；全部带中英改写池、temperature=1.0、全局洗牌 | S_dist（JSD/split-half/相对比） |
-| **I** 身份取证 | 13 条 | 直问×2 / 间接绕×3 / 越狱×3（含 llmmap 乱码句）/ 元推理×2 / **中英对照×3** | S_idn + zh_en 一致性 |
-| **K** 元知识 | 6 条 | 知识截止×3 问法 / 上下文窗口 / ★参数量 / ★训练框架 | S_meta + cutoff 矛盾红旗 |
-| **C** 能力+拒答 | 7 条 | JSON / 数学 / ★拒答梯度×5（敏感度递增） | 拒绝模式向量（存档） |
-| **S** 风格 | 10 条 | 冗长伸缩对 / 格式自选 / 创意 / ★长度服从性×4 | 长度服从分布（存档） |
-| 前置基线 | 20 条 | 极短请求测 p50 = T₀ | 自适应延迟判定 |
-
-★ = 本项目新增探针（三件套都没有的）：
-二元偏好 cell（信息论区分力最优）、中英身份对照（专抓只改英文 system prompt 的套壳）、
-元认知审计（编造参数量/硬件 = 替换小模型的典型行为）、长度服从性、拒答梯度、
-自适应延迟基线（根除 CPU 端点的延迟误报）。
-
-**并行调度**：D 池（并发 4）与 文本池（并发 3，`max_tokens=256` 截断）同时跑；
-基线前置独占测量（避免被自身流量污染）。CPU 端点全程 ~49 分钟，GPU 端点预估 3~5 分钟。
-
---
-
-## 3. 评分体系（v1.1）
-
-### 3.1 四信号（各归一化 0~1）
-
-| 信号 | 计算 | 说明 |
-|---|---|---|
-| **S_dist** 分布比对（有参考时） | 相对比 `R = meanJSD ÷ max(splitHalf, 0.02)`：R<2→1.0，2~8 线性衰减，>8→0；**绝对标尺兜底：meanJSD>0.35 时封顶 0.2** | 用自身稳定性归一距离，抵消量化/服务栈漂移；论文标尺（同模型 0.14 / 异供应商 0.227 / 异模型 0.463）做兜底 |
-| **S_idn** 自称一致 | 13 条身份探针中可解析自称的一致比例；提取不到记 0.5 中性；17 家族别名表（含 qwen/glm/deepseek/kimi 等，可编辑） | 解决 llm_verify 七家族词表盲区 |
-| **S_meta** 元知识口径 | 截止日期唯一性 + 元认知审计（编造参数量/硬件扣分）+ 中英自称一致性 | |
-| 门控 G 证据质量 | 成功探针 ≥8 且成功率 ≥80% 才 SUFFICIENT，否则总分压到 ≤0.5 | fail-closed，继承 llm_verify |
-
-### 3.2 融合与五档裁决
-
-```text
-带参考:   Final = 0.45·S_dist + 0.30·S_idn + 0.25·S_meta        （×G 门控）
-自证模式: Final = 0.60·S_idn + 0.40·S_meta   且裁决上限 LIKELY_MATCH
-          （无参考不得"验明正身"; split-half 仅作稳定性门 >0.25 → INCONCLUSIVE）
-
-VERIFIED ≥0.85 > LIKELY_MATCH ≥0.70 > INCONCLUSIVE ≥0.50
-        > SUSPECTED_MISMATCH ≥0.30 > MISMATCH
-```
-
-### 3.3 ★v1.1 新增：dist_outlier 实锤规则
-
-> 动机：兄弟模型假冒（4B 冒充 8B）时，均值 JSD≈0.25~0.36 只到灰色档，
-> 但个别开放词域 cell 的真实分化高达 **0.6~1.0**——均值把铁证稀释了。
-
-```text
-规则: 参考验证模式下, 任一 cell 满足 [双方有效样本 ≥15 且 JSD > 0.5]
-     → 挂 MEDIUM dist_outlier 红旗
-     → 裁决封顶 SUSPECTED_MISMATCH（VERIFIED/LIKELY_MATCH/INCONCLUSIVE 一律降档;
-       连续 score 保留原值, 实现"量化分"与"实锤裁决"解耦）
-```
-
-### 3.4 自适应延迟判定（替代 llm_verify 的固定 10s 阈值）
-
-```text
-decode_rate = median(文本层单条延迟 ÷ completion_tokens)     # 纯解码速度
-overhead    = baseline_p50 − decode_rate × 基线平均tokens     # 每请求固定开销
-异常判定:    overhead_ratio = baseline_p50 ÷ expected > 5 且 overhead > 5s
-```
-
-纯硬件慢（CPU）只抬高 decode_rate、不产生 overhead → 不再冤枉；
-代理/中转给每个请求叠加固定网络开销，在短请求（基线）上最显形 → 逃不掉。
-
---
-
-## 4. 使用方法
-
-```bash
-# evalstone 集成（推荐）：
-python bash/run.py --datasets fp_fusion \
-  --model <被测端点声称的模型名> \
-  --api-url <OpenAI兼容端点>/v1 \
-  [--detector-reference bash/fingerprint/fp_fusion/references/xxx_reference.json]
-# 不带 --detector-reference = 自证模式（裁决上限 LIKELY_MATCH）
-# 注意: --suite fingerprint 不包含 fp_fusion, 只能 --datasets 单跑
-
-# 直接调执行器（支持冒烟参数）：
-python3 bash/fingerprint/fp_fusion/run_fp_fusion.py \
-  --api-url http://localhost:30002/v1 --model Qwen3-4B \
-  --report-path /tmp/r.json \
-  [--reference references/qwen3-4b_reference.json] \
-  [--d-samples 20] [--baseline-samples 20] [--text-limit 0] \
-  [--d-concurrency 4] [--text-concurrency 3] [--timeout 120]
-```
-
-产出：`reports/fp_fusion.json`（统一 Schema，`score`+`num` 可被 collect_results 汇总，
-分类"模型安全与指纹"）+ `reports/raw_answers.jsonl`（全部探针原文，人工复核用）。
-
-容器内参考库路径：`/opt/evalscope/bash/fingerprint/fp_fusion/references/`。
-
---
-
-## 5. 输出 Schema（v1.1，关键字段）
-
-```jsonc
-{
-  "benchmark": "fp_fusion", "version": "1.1",
-  "score": 0.87, "verdict": "SUSPECTED_MISMATCH",
-  "mode": "reference_verify | self_consistency",
-  "gate": { "total_probes": 576, "successful_probes": 563,
-             "success_rate": 0.977, "quality": "SUFFICIENT" },
-  "signals": {
-    "dist":  { "s_dist": 0.88, "mean_jsd": 0.252, "relative_ratio": 2.72,
-                "split_half": 0.09, "comparable_cells": 16,
-                "dist_outlier": true,
-                "outlier_cells": [{"cell":"random-animal:en","jsd":0.617}],
-                "most_divergent": [...] },
-    "family": { "enabled": false, "note": "reserved hook (v1)" },
-    "identity": { "s_idn": 1.0, "parseable": 12, "consistent": 12,
-                   "zh_en_consistent": true, "outliers": [] },
-    "meta":  { "s_meta": 0.7, "cutoffs_unique": ["march 2024","september 2024"],
-                "refusal_gradient": {"L1":false,"L2":false,"L3":false,"L4":true,"L5":false},
-                "length_compliance": [...] },
-    "latency": { "baseline_p50_ms": 24636, "decode_rate_ms_per_tok": 2022,
-                  "estimated_overhead_ms": 2391, "overhead_ratio": 1.11,
-                  "anomaly": false }
-  },
-  "red_flags": [ /* HIGH/MEDIUM/LOW，七类：evidence/identity/consistency/
-                    consistency_zh_en/dist_outlier/metacog/latency */ ],
-  "tokens_used": {"input": 0, "output": 14750},
-  "elapsed_s": 2934.5
-}
-```
-
-> 裁决与分数允许解耦：连续分被 dist_outlier 实锤封顶时，score 保留原值、verdict 降档
-> ——"量化上像，但铁证说不是，就按铁证办"。
-
---
-
-## 6. 实验记录（全部真实数据，同机 CPU 端点）
-
-### 实验 A：诚实对照 —— 真 Qwen3-4B vs 真 4B 参考
-
-```text
-verdict=VERIFIED  score=1.0  meanJSD=0.0615  R=0.82  零红旗  563/576 (97.7%)
-自称 12/12 一致（含越狱+中文）；截止口径唯一；延迟 overhead_ratio=0.89 零误报
-```
-
-### 实验 B：兄弟假冒 —— 真 4B 权重 + 对外自称 Qwen3-8B + vs 真 8B 参考
-
-```text
-v1.0: INCONCLUSIVE / 0.565 / meanJSD=0.359   ← 未误认证, 但差一步实锤
-v1.1: SUSPECTED_MISMATCH / 0.871 ⚑           ← dist_outlier 规则命中
-      outlier cells: random-animal:en=0.617, random-letter:en=0.581
-      附带 HIGH 红旗: 截止口径矛盾 (march/september 2024)
-```
-
-### 实验 C：兄弟距离测量 —— 4B vs 8B 指纹离线比对
-
-```text
-meanJSD=0.267 (uncertain 档) —— 但逐 cell 分化极其清晰:
-  random-animal:en 0.856 · random-letter:en 0.563   ← 开放词域已显著分化
-  random-number-1-10:en 0.000 · 1-100:en/zh 0.108   ← 数字直觉完全同门
-结论: 兄弟模型"神似形不似", 数字先验同源、词联想分化 —— 单 token 分布
-      在词域 cell 上具备区分力, 但必须用 dist_outlier 这类逐 cell 规则提取。
-```
-
-### 实验 D：三件套同场景对照（同一假冒端点、同一真 8B 参考）
-
-| benchmark | 得分 | 裁决/信号 | 识破？ |
-|---|---|---|---|
-| llmmap | 0.794 | Top-1=Qwen2.5-3B（假冒分还高于诚实分的 0.769） | ❌ 全盲（库外兄弟只能归族） |
-| llm_verify | 0.25 | SUSPICIOUS，唯一红旗=延迟 29s（CPU 误报；自称提取无 qwen 词表） | ❌ 全盲 |
-| llm_fingerprint_detector (strict) | 0.703 | uncertain，meanJSD=0.297（实锤 cell 在 most_divergent 里但无利用规则） | 🟡 半识破 |
-| **fp_fusion v1.1** | **0.871 ⚑** | **SUSPECTED_MISMATCH**（dist_outlier + cutoff 双红旗） | ✅ **实锤** |
-
-### 附：发现并修复的工程问题（对后来者有用）
-
-| 问题 | 根因 | 修复 |
-|---|---|---|
-| 34 条探针"假成功" | `httpx.ReadTimeout` 的 `str()` 为空串，fail-closed 门控被骗 | error 兜底 `type(e).__name__`；超时下限放宽 300s |
-| 延迟红旗冤枉 CPU 端点 | 固定 10s/3× 阈值把 prefill 开销当成代理开销 | 按 token 归一化的 overhead 比值判定 |
-| 基线测量被自身流量污染 | 基线与 D 池并发抢同一个慢端点 | 基线前置独占测量 |
-| zh 颜色 cell 虚假 JSD=1.0 | 自研归一化把中文颜色译成英文，与 detector 参考键空间（保留中文）不相交 | 对齐参考约定：zh 颜色保留中文去尾部"色" |
-
---
-
-## 7. 已知边界与 Roadmap
-
-**边界（如实声明）**
- 无参考模式不可能输出 VERIFIED（方法论限制）；
- 自称提取是正则+别名表，话术奇怪的回答会记 0.5 中性并标注；
- `family` 嵌入归因模块（llmmap 能力整合）v1 未启用，代码留 hook；
- 参考指纹会随上游静默更新漂移，高置信场景需定期重采（references/README 有采集命令）；
- 比对仅在同一探测协议（one-token/v1 + 本 battery）下有效。
-
-**Roadmap**
- v1.2：启用 S_fam（llmmap 嵌入归因，容器已具备 torch/e5 环境）；
- v1.2：多参考注册表——同一声称身份比对多份参考，取最小距离；
- v1.2：拒答梯度/长度服从作为正式评分信号（当前仅存档）；
- 参考库扩充：DeepSeek-V4、qwen3-8b 已入库；GLM-5.2/Kimi/闭源 API 系待采
-  （detector strict 每模型仅 ~14K tokens）。
-
---
-
-## 8. 相关文档
-
- 三件套运行手册：`FINGERPRINT_BENCHMARKS_RUN.md`
- 三件套实现细节：`bash/fingerprint/README.md`
- 理论背景：`/data1/xii/model_fingerprint_detection.md`
- 集成入口：`bash/run.py` → `FUSION_BENCHMARKS` / `FINGERPRINT_SCRIPTS['fp_fusion']`
--- a/bash/fingerprint/fp_fusion/references/README.md
+++ b/bash/fingerprint/fp_fusion/references/README.md
@ -1,36 +0,0 @@
-# FP-Fusion 参考指纹库（自包含）
-
-同协议（one-token/v1）可信参考指纹，供 `--reference` / `--detector-reference` 使用。
-
-| 文件 | 真实模型 | 采样来源 | 日期 |
-|---|---|---|---|
-| qwen3-4b_reference.json | Qwen3-4B | :30002 (CPU, 官方权重) | 2026-08-21 |
-| glm520_reference.json | GLM-5.2 | :30000 (P800, 官方权重) | 2026-08-21 |
-| qwen3-8b_reference.json | Qwen3-8B | :30003 (CPU, 官方权重) | 2026-08-28 |
-| glm53_reference.json | GLM-5.3 | api.vectron.meta-stone.com (ZhipuAi/GLM-5.3) | 2026-09-01 |
-| deepseek_v4_flash_reference.json | DeepSeek-V4-Flash | api.vectron.meta-stone.com (DeepSeek/DeepSeek-V4-Flash) | 2026-09-01 |
-| kimi_k3_reference.json | Kimi-K3 | api.vectron.meta-stone.com (MoonshotAi/Kimi-K3) | 2026-09-01 |
-| deepseek_v4_pro_reference.json | DeepSeek-V4-Pro | api.vectron.meta-stone.com (DeepSeek/DeepSeek-V4-Pro) | 2026-09-01 |
-| glm52_vectron_reference.json | GLM-5.2 (vectron) | api.vectron.meta-stone.com (ZhipuAi/GLM-5.2) | 2026-09-02 |
-| minimax_m27_reference.json | MiniMax-M2.7 | api.vectron.meta-stone.com (MiniMax/MiniMax-M2.7) | 2026-09-02 |
-| tiangong_taie_reference.json | TianGong/Taie | api.vectron.meta-stone.com (TianGong/Taie) | 2026-09-02 |
-| deepseek_v4_flash_0731_reference.json | DeepSeek-V4-Flash-0731 | api.vectron.meta-stone.com (DeepSeek/DeepSeek-V4-Flash-0731) | 2026-09-02 |
-
-采集命令（detector CLI, strict 建议）:
-  node dist/cli.js fingerprint --base-url <可信端点>/v1 --model <模型名> \
-    --preset strict --out references/<名字>_reference.json
-
-注意: 参考会随上游静默更新而漂移，高置信场景请定期重采。
-
-
-## fp_fusion 独立参考（26-cell，区分于 llmdetector 的 16-cell）
-
-fp_fusion 的 D 层 = llmdetector 16 cells + **10 个新增 cell**（binary-season/pet/sea-mountain/tea-coffee + day-of-week，×中英）。
-为让 fp_fusion 作为独立 benchmark 真正用上新增 cell，参考指纹**分开采样**：
- 16 个共享 cell：直接复用 detector CLI 采集的 `*_reference.json`
- 10 个新增 cell：`collect_fp_extra_reference.py --api-key ... --model ... --out <extra>.json`
-  （复用 fp_fusion engine 的归一化逻辑，中英各 25 条；中文 binary cell 因归一化规则
-  不识别中文回答为有效，与 fp_fusion 运行时行为一致，自动被 min_valid 过滤）
- 合并：`merge_fusion_reference.py` → `*_fusion_reference.json`（26 cells, one-token/v1）
-
-llmdetector 比对继续用 16-cell 的 `*_reference.json`；fp_fusion 比对用 `*_fusion_reference.json`。