数据文件
data/ 目录中的正式参考样本、派生指纹库、冻结检测器、固定挑战与分词器库,以及它们的变更记录。
data/ 保存正式参考样本、派生指纹库、冻结检测参数、固定采样挑战和分词器探测用的分词器库。
| 文件 | 内容 |
|---|---|
unified_reference.jsonl | 参考批次,每行一个版本 1 批次:共用模型、渠道与调用设置,回答放在 samples 数组中 |
unified_bank.json | 由参考批次派生的统计库 |
shared_detector.bin | 冻结的排名器和校准参数,用 SHA-256 绑定参考数据。格式为 JSON 头加 float32 数值,由 fpd retrain 写入,通过 shared/detector-codec.ts 读取 |
enrollment-suite.json | 36 道固定采样挑战;它是采样输入,不是参考回答 |
tokenizer_bank.json | 分词器库:分词器探测用的测试文本、每一类分词器的计数和型号映射 |
collections/ | 采样请求、尝试和来源核验记录 |
collections/ 不参与评分,也不复制到网站的公开数据。改名、退库或迁移格式前的参考行不再另存副本,需要时从 git 历史找回。批次与样本的字段见采样与续采。
维护规则
fpd sample、fpd enroll DIR和fpd retrain --data-dir DIR都可以在仓库外运行。入库校验完整批次和原始证据,按模型、渠道、条件、题目与文本去重并重建派生库;重训从目标参考库离线拟合排名器与置信度校准,嵌套校准未通过时不替换shared_detector.bin,训练证据保存在.training/。- CLI 随包数据只读;维护目标必须显式指定,或在交互入库时识别本仓库后确认。
- 固定评估集不能加入参考库、模型中心或校准。
- 网站构建把脱敏数据写入
web/public/data/。该目录是生成产物,不能作为另一份正式库维护。
分词器库
tokenizer_bank.json 由分词器归档工具 llm-tokenizer-fingerprint 的 token-fp export-api-bank 从 290 个开源分词器离线生成。它与参考样本无关,更新时直接整体替换,不经过 fpd enroll。
| 字段 | 内容 |
|---|---|
schema | 固定为 tokenizer-bank-v1 |
source | 生成工具、分词器数与候选文本数;archive_manifest_sha256 记录所用归档清单的哈希,excluded 列出因归档文件不可信而未导出的仓库及原因 |
wrapper | 固定前后缀:prefix 与 suffix |
probes | 测试文本的 ID、类别与原文 |
classes | 每一类分词器的实验室、系列、成员、别名,以及对每条测试文本的计数差 counts;成员分歧时另列 alternatives |
api_models | 厂商型号到分词器类的映射;class 为 null 表示厂商没有公开分词器 |
类按作者实验室与系列归并:计数完全相同的分词器归为一类,同一谱系下只差少数文本的再合并。完整的类列表见分词器探测原理。
变更记录
新增 gemini-4-argon 的 36 条固定挑战回答,正式库扩展到 59 个指纹身份、2,200 条样本。请求型号为 google/gemini-4-argon,使用 OpenRouter Chat Completions 流式输出、reasoning_effort=low 和固定 openrouter/google-ai-studio 渠道,禁止回退。36 条回答均在首次尝试通过校验。33 条自然完成,query-10、query-25 和 query-36 在 500 个整数处截断,并保留截断标记。
返回型号和 Google AI Studio 供应商元数据通过原始响应校验。采样证据和入库收据保存在 collections/gemini-4-argon-openrouter-google-ai-studio-low-20261014/。本次入库同步补充两组三条独立固定评估回答,使用相同渠道和 low 推理强度。评估回答不参与建库、训练或校准。
重训后,新增两组评估均识别为 gemini-4-argon。原有 116 个完整组的预测不变,入库前后均命中 105 组。全库完成 118/120 组、354/360 条有效回答,完整组命中 107/118。缺少的两组属于 kimi-k2.8-preview。
新增 muse-wonder 的 36 条固定挑战回答,正式库扩展到 58 个指纹身份、2,164 条样本。请求型号为 meta/muse-wonder,使用 OpenRouter Chat Completions 流式输出、reasoning_effort=low 和固定 openrouter/meta 渠道,禁止回退。36 条回答均在首次尝试自然完成,无截断,返回型号和 Meta 供应商元数据通过原始响应校验。
采样证据和入库收据保存在 collections/muse-wonder-openrouter-meta-low-20261013/。本次入库同步补充两组三条独立固定评估回答,使用相同渠道和 low 推理强度。评估回答只用于评估,不参与建库、训练或校准。
检测器参数改存为 shared_detector.bin:JSON 头加 float32 数值。网站下载的检测器从 9.75 MB 降到 3.37 MB。留出集的预测和排名没有变化(116/116 组相同,置信度最大变化 1.8e-7)。删除 import_manifest.json。
维护者确认 muse-spark-1.3-contributor 与 muse-spark-1.3 是同一模型,因此删除前者的 2 个参考批次(36 条回答,渠道 openrouter/unknown)。正式库变为 57 个指纹身份、2,128 条样本。删除前的两行参考批次可从 git 历史找回。
删除前,参考库按环境留一检验两者的回答级区分:72 条回答中只有 33–37 条判对,与环境内随机打乱标签的结果没有差别。固定评估集保留该型号的采集记录;评估器把它列为已退役型号,不计入计划组。
shared_detector.json 升级为 shared-detector-v2。排名分数改为频率排名与位置/顺序判别各占一半,计算方法见排名与校准。权重和收缩系数在 58 个身份的参考库上按环境留一交叉验证,从预先声明的网格中选出:原排名器命中 631/696 组,新排名器命中 642/696 组。联合生成过程模型作为第三个分量只多命中 1 组,且嵌套选择不稳定,因此没有加入产品。
删除 muse-spark-1.3-contributor 后重训:嵌套留出 top-1 为 641/684,二元 NLL 为 0.138(常数基线 0.235),AUC 为 0.931,温度 τ 为 4.781。固定评估完整组命中 103/114;在相同的 114 组上,用同一参考库重训的原排名器命中 100/114。固定评估集只用于评估,没有参与选择或校准。
固定评估中 13 条回答的最小有效数字不低于 200(涉及 claude-haiku-4.5、gpt-6-sol、gpt-5.4、gpt-5.6-terra)。按维护者要求,这些槽位改用同一数量的新提示词重测,并锁定官方供应商;旧尝试全部保留。重测回答的最小值为 1–103。
按维护者要求,将 gpt-6-astra 和 gpt-6.1-sol 合并为一个指纹类别:内部 ID 为 gpt-6-astra,界面显示为 gpt-6-astra/6.1-sol(批次字段 model.display_name)。两个批次各 36 条回答共同参与建库和排名器训练,正式库变为 58 个指纹身份、2,164 条样本。请求型号、响应型号、样本 ID、采集渠道和原始证据保持原值;改名前的两行参考批次可从 git 历史找回。
检测结果只报告合并类别,不再给两个名字分别排名;网站在该类别排名第一时提示两者无法靠数字指纹可靠区分。固定评估保留两种请求型号的全部 4 组、12 条回答,分别展示原始采样型号,真值映射到合并类别。合并前两个名字之间的误判在合并口径下计为正确,因此评估命中数的变化包含标签合并的影响,不能直接解释为模型区分能力提高。
新增 claude-haiku-5.5 的 36 条固定挑战回答,正式库扩展到 59 个型号、2,164 条样本。请求型号为 anthropic/claude-haiku-5.5,使用 OpenRouter Chat Completions 流式输出、reasoning_effort=low 和固定 openrouter/anthropic 渠道,禁止回退。提示词和系统提示沿用固定挑战集。
本机前三次请求因地区限制返回 HTTP 403,随后在 Ikaleio-TYO 续采同一批次。36 条回答均自然完成,无截断,返回型号和 Anthropic 供应商元数据均通过原始响应校验。采样证据、3 条失败尝试和入库收据保存在 collections/claude-haiku-5.5-openrouter-anthropic-low-20261008/。现有固定评估集尚未覆盖这个新增型号。
新增 seed-2.1-turbo、seed-2.0-lite、seed-2.0-mini、qwen3.8-flash 和 qwen3.8-omni-flash,各 36 条固定挑战回答。正式库扩展到 58 个型号、2,128 条样本。五个批次使用同一套固定提示词,均通过 OpenRouter Chat Completions 流式采集;Seed 固定 openrouter/seed/fp8,Qwen 固定 openrouter/alibaba,均禁止回退。
最初使用默认推理强度。Turbo 的 query-15 第 7 次尝试改用 low;之后按用户要求,对剩余未完成题使用 none 关闭推理:Turbo 13 条、Flash 29 条、Omni-Flash 6 条。已成功的回答保留原设置,提示词与前缀未改。实际参数、生效尝试、原始响应、失败记录和入库收据保存在 collections/seed-qwen-20261003/;Flash 的旧限流批次也保留,但未入库。
所有批次在 500 个整数处自动截断,并保留 truncated 状态:Turbo 7 条、Lite 7 条、Mini 4 条、Flash 4 条、Omni-Flash 4 条;其余回答自然完成。入库核对原始响应中的返回型号和供应商元数据,不按检测排名筛选回答。现有固定评估集尚未覆盖这五个新增型号。
tokenizer_bank.json 的 OpenAI o200k_base 映射覆盖所有以 gpt-5 或 gpt-6 开头的型号(维护者确认)。此前 gpt-5 已覆盖 gpt-5.x;gpt-6 开头的型号原本只有 gpt-6-astra 经 o200k 类的别名匹配,这条别名随之删除。这些型号按厂商公开的分词器核对,只有完全一致才算一致;排名不受影响。这是对生成文件的手工修改:重新运行 token-fp export-api-bank 前,需要先把这些映射加入生成工具。
将 gpt-5.4、gpt-5.5、gpt-5.6-sol、gpt-5.6-terra、gpt-5.6-luna、gpt-6-astra 的 16 个 codex-subscription 批次(216 条,推理强度未记录)全部退出正式库,原始行可从 git 历史找回。替换原因:配对研究(research/studies/astra-sol-separation/)发现,原参考库的采集渠道和推理设置不一致,会干扰 gpt-6-astra 与 gpt-6.1-sol 的指纹比较。新批次使用 OpenAI Key 从本机直连 api.openai.com 的 Responses 接口,流式、reasoning_effort=low,与 gpt-6-sol 一致;各完成 36 道固定挑战,提示词与系统提示和原批次逐条相同,证据保存在 collections/<型号>-openai-direct-20260930/。返回型号为 gpt-5.4-2026-03-05、gpt-5.5-2026-04-23,其余与请求名相同。截断(达到采样上限):gpt-5.6-luna 7 条、gpt-5.6-terra 1 条、gpt-5.4 1 条,其余自然完成。失败尝试均保留:gpt-6-astra 4 次、gpt-5.4 3 次连接中断,gpt-5.6-terra 1 次、gpt-5.6-luna 2 次有效数字不足,均在下一次尝试成功。
新增 gpt-6.1-sol 的 36 条固定挑战回答,证据保存在 collections/gpt-6.1-sol-openrouter-openai-20260930/。请求 OpenRouter 型号 openai/gpt-6.1-sol,使用 Chat Completions 流式输出、reasoning_effort=low 和固定 openrouter/openai 渠道(禁止回退);36 条均由返回型号及 OpenAI 供应商元数据核对,自然完成,无失败或截断。
同日把 Claude 参考标签统一为小数点版本号(如 claude-opus-5.5),claude-haiku-4-5-20251001 的标签固定为 claude-haiku-4.5;请求型号和原始采样证据保持上游原值,改名前的 25 行可从 git 历史找回。gpt-6-sol-20260922 批次退出正式库,原始行同样可从 git 历史找回。
新增 claude-sonnet-5.5 的 36 条固定挑战回答,证据保存在 collections/claude-sonnet-5.5-openrouter-anthropic-20260929/。请求 OpenRouter 正式型号 anthropic/claude-sonnet-5.5,使用 Chat Completions、默认推理强度和固定 openrouter/anthropic 渠道(禁止回退);36 条均由返回型号及 Anthropic 供应商元数据核对,自然完成,无失败或截断。
原 gpt-6-sol 参考批次(2026-09-22 经 openrouter/openai 采集的 36 条回答)标为 gpt-6-sol-20260922,保留原请求模型名、渠道和采样证据。新 gpt-6-sol 批次在 Ikaleio-TYO 使用 OpenAI Key 直连 api.openai.com 的 Responses 接口,以 reasoning_effort=low 完成相同的 36 道固定挑战;34 条自然完成,2 条按采样上限截断。原始证据保存在 collections/gpt-6-sol-openai-direct-20260928/。首次 Chat Completions 请求因接口不支持 max_tokens 返回 HTTP 400,3 条失败记录保存在 collections/gpt-6-sol-openai-direct-cc-20260928/,未入库。此后两个标签分别参与评分,直到 2026-09-30 gpt-6-sol-20260922 退出正式库;渠道和接口不同,不能仅凭参考库排名推断模型版本差异。
六个 DeepSeek 型号的 15 个未固定供应商批次(216 条)全部退出正式库,原始行可从 git 历史找回,原采样尝试继续留在研究目录。新参考批次按型号独立保存在 collections/deepseek-*-20260926/:V4.1 Flash 与 V4 Pro 0813 各 36 条固定 openrouter/deepseek,Flash 0731、Pro 预览、Flash 预览、V3.2 各 36 条固定 openrouter/novita。Flash 0731 的 query-11 第 11 次和 query-23 第 12 次尝试只覆写 reasoning_effort=low,原始失败均保留;停用的 SiliconFlow 备用批次保留在 collections/ 但没有入库。正式库只纳入完整且来源核对通过的批次,不让 OpenRouter 自动回退或混合供应商回答。
K3 更新使用 36 条固定 MoonshotAI 来源、关闭思考的回答,替换此前未固定提供方的 36 条回答。新批次位于 collections/kimi-k3-moonshotai-20260914/,旧批次可从 git 历史找回;前缀版本及生效尝试见新批次 manifest。
格式迁移前的 1,804 条参考行可从 git 历史找回。新格式保留全部样本 ID、回答、提示词和顺序,未知完整性不会补成成功。旧格式不再由运行时读取,历史请求与失败尝试仍保留。
最后更新于