分词器探测
API 检测在取样的同时识别上游使用的分词器，核对它与所填模型是否一致；结果只作参考，不改变排名，也不延迟检测结果。
分词器是模型把文本切成 token 的规则。同一家厂商的模型通常共用一种分词器，所以知道上游（你填写的接口背后的服务）用的是哪一种，可以和数字指纹的排名对照着看，也能发现声称 gpt-5 却用着 Qwen 分词器的渠道。
分词器探测的结果只作参考信息：它单独显示在“分词器探测”卡、样本摘要条的第四项和分词器详情里，不改变候选排名或置信度，检测结果也不等待它完成。
分词器探测是 API 模式的一部分，默认关闭。在 API 配置中打开“分词器探测”开关后，取样时才会探测。代价是取样时多发约 12 个短请求，最多 22 个；按次计费的接口会计入这些请求。这些请求沿用你设置的服务等级和推理强度（推理强度在 Messages 协议下除外），Messages 以外的协议不限制输出，推理模型上会多花一些 token。手动模式没有接口可问，不做探测。
一次检测里发生什么
开始取样
点击“开始取样”后，三张样本卡下方出现“分词器探测”卡。它显示已完成的请求数和暂时领先的分词器。每个请求只要求模型回复 OK，页面读取接口返回的用量（usage）里的输入 token 数。
“并行请求”开启时，分词器探测每批发 4 个请求；关闭后逐个发送，耗时更长。
探测为三条样本共用：停止某张样本卡只中止那一条取样，探测继续进行；操作栏的“停止”会同时停止探测。
查看结果
三条样本完成后，验证立即计算并显示结果，不等待探测。探测还没结束时，它在结果旁边继续进行：样本摘要条的第四项“分词器”显示“探测中”，收到新的计数后随时更新，点开可以看详情。操作栏的“停止探测”随时可以结束探测，页面用已收到的计数给出判定。
分词器详情
详情顶部是标题、“收起”按钮、状态徽标和更多菜单，下方一行说明探测结果只作参考。探测失败、被停止或两次对照请求的计数不同时，提示条显示在这一行下面。
正文分两栏，窄屏时按下面的顺序排成一列：
| 位置 | 内容 |
|---|---|
| 左上 | 判定：“上游分词器”（探测中为“暂时领先”）、系列名、实验室名和置信度 |
| 右上 | “所填模型”：模型 ID 和核对结果，见与所填模型核对 |
| 左下 | 候选分词器：前 6 类的置信度，最后一行固定为“未收录的分词器” |
| 右下 | 请求记录：每一行是一条测试文本或“对照请求”（只含固定前后缀），右侧是输入 token 数和比对照请求多出的 token 数 |
判定只有三种，显示在状态徽标上：
| 判定 | 含义 |
|---|---|
| 完全一致 | 几乎所有测试文本的计数都与某一类已收录的分词器吻合，允许少数偏差 |
| 接近已收录的类 | 与某一类相近，但相当一部分测试文本的计数不同，可能是它的衍生或扩展版本 |
| 未收录 | 与所有已收录的类都无关 |
“类”指计数方式几乎相同的一组开源分词器。本工具收录 62 类，见已收录的分词器。
底部一行显示请求数和耗时，右侧是“重新探测”。其下有三个折叠项：这一类包含的开源分词器、每条测试文本的计数、如何理解探测结果。
与所填模型核对
探测结束后，详情里把所填模型名与厂商型号映射比对：
| 结果 | 含义 |
|---|---|
| 一致 | 实测的分词器与该模型使用的相同 |
| 不一致 | 例如声称 gpt-5 却测得 Qwen 的分词器 |
| 计数不足以判断 | 计数还没有集中到某一类 |
| 本工具不知道 | 本工具还不知道该模型使用哪种分词器 |
Claude、Grok 等厂商没有公开分词器：测得“未收录的分词器”算作一致，测得任何已收录的类算作不一致。OpenAI、Google 等厂商公开了分词器，它们的型号只有测得“完全一致”才算一致，测得“接近已收录的类”不算；按别名匹配的开源模型，测得与它的类相近的未收录分词器也算一致。
分词器相同的模型不止一个
同一种分词器常被多个模型复用，例如小米 MiMo 与 MiniCPM-V 复用 Qwen1 至 Qwen3 的分词器。有些中转站用 OpenAI 的开源分词库 tiktoken 在本地估算用量，估算出的计数同样对应 o200k_base 或 cl100k_base；判定为这两类且与所填模型不一致时，“所填模型”一栏会写明这种可能。两次对照请求的计数不同时，页面提示上游加入了长度会变化的隐藏内容（例如系统提示词），这次结果可能不准，可以重新探测一次。
没有分词器结果的情况
- 接口的响应里没有用量。有些中转站不转发上游的用量，这是接口本身的限制。
- 对照请求失败，或没有任何测试文本得到回答。探测中途失败或被停止时，判定用已收到的计数。
探测失败或被停止时，可以用“分词器探测”卡或详情的更多菜单、或详情底部的“重新探测”再测一次。重新探测沿用上次探测的配置，不重新取样，也不改变屏幕上的检测结果。
导出
结果页更多菜单里的“导出 JSON”包含只来自数字指纹的候选列表；探测已结束时，另在 tokenizer 下附探测报告：判定、与所填模型的核对和每个请求的计数。文件不含接口地址和 API Key。
最后更新于