Fingerpoint Detector
参考

数据文件

data/ 目录中的正式参考样本、派生指纹库、冻结检测器、固定挑战与分词器库,以及它们的变更记录。

data/ 保存正式参考样本、派生指纹库、冻结检测参数、固定采样挑战和分词器探测用的分词器库。

unified_reference.jsonl
unified_bank.json
shared_detector.bin
enrollment-suite.json
tokenizer_bank.json
collections
文件内容
unified_reference.jsonl参考批次,每行一个版本 1 批次:共用模型、渠道与调用设置,回答放在 samples 数组中
unified_bank.json由参考批次派生的统计库
shared_detector.bin冻结的排名器和校准参数,用 SHA-256 绑定参考数据。格式为 JSON 头加 float32 数值,由 fpd retrain 写入,通过 shared/detector-codec.ts 读取
enrollment-suite.json36 道固定采样挑战;它是采样输入,不是参考回答
tokenizer_bank.json分词器库:分词器探测用的测试文本、每一类分词器的计数和型号映射
collections/采样请求、尝试和来源核验记录

collections/ 不参与评分,也不复制到网站的公开数据。改名、退库或迁移格式前的参考行不再另存副本,需要时从 git 历史找回。批次与样本的字段见采样与续采。

维护规则

  • fpd sample、fpd enroll DIR 和 fpd retrain --data-dir DIR 都可以在仓库外运行。入库校验完整批次和原始证据,按模型、渠道、条件、题目与文本去重并重建派生库;重训从目标参考库离线拟合排名器与置信度校准,嵌套校准未通过时不替换 shared_detector.bin,训练证据保存在 .training/。
  • CLI 随包数据只读;维护目标必须显式指定,或在交互入库时识别本仓库后确认。
  • 固定评估集不能加入参考库、模型中心或校准。
  • 网站构建把脱敏数据写入 web/public/data/。该目录是生成产物,不能作为另一份正式库维护。

分词器库

tokenizer_bank.json 由分词器归档工具 llm-tokenizer-fingerprint 的 token-fp export-api-bank 从 290 个开源分词器离线生成。它与参考样本无关,更新时直接整体替换,不经过 fpd enroll。

字段内容
schema固定为 tokenizer-bank-v1
source生成工具、分词器数与候选文本数;archive_manifest_sha256 记录所用归档清单的哈希,excluded 列出因归档文件不可信而未导出的仓库及原因
wrapper固定前后缀:prefix 与 suffix
probes测试文本的 ID、类别与原文
classes每一类分词器的实验室、系列、成员、别名,以及对每条测试文本的计数差 counts;成员分歧时另列 alternatives
api_models厂商型号到分词器类的映射;class 为 null 表示厂商没有公开分词器

类按作者实验室与系列归并:计数完全相同的分词器归为一类,同一谱系下只差少数文本的再合并。完整的类列表见分词器探测原理。

变更记录

最后更新于

本页目录