← 全部 GEO 工具

Token 计数器

计算文本的 Token 数量并展示分词结果,辅助评估模型输入长度。

游客可在可用额度内直接体验;登录后可保存后续任务并回看记录。

Token 计数器能做什么?

调用语言模型时,经常会遇到输入长度限制和按 Token 计费。Token 是模型处理文本的单位,与汉字数、英文单词数并不一一对应。本工具展示输入的切分结果,帮助估算文本长度,并比较删减或调整前后的差异。

适合谁使用

适合编写提示词、整理知识库文本、接入模型接口和检查长文输入的人员。对于只想比较两段文本长短的用户,也可作为直观参考。

主要功能

查看数量与具体切分

显示计数和分词片段,帮助理解中文、英文、数字和标点的切分差异。界面限制一次展示的片段数量,以便长文本仍可阅读。

辅助压缩输入

去掉无关重复、冗长背景或不必要格式后重新计数。比较时使用同一分词规则,并保留完成任务需要的关键信息。

导出计数结果

导出本次返回的数据,记录处理前后的变化。结果适合长度评估,实际账单应以调用平台返回的用量为准。

怎么使用

  1. 粘贴需要计数的文本。
  2. 查看 Token 总量和主要切分方式。
  3. 根据任务需要删减重复信息,再次计数比较变化。
  4. 核算真实费用时,结合模型平台实际用量和计费规则。

怎么看结果

本工具使用指定分词器估算,不保证与所有模型一致。接口总用量还可能包含系统提示、历史消息、检索材料和输出,因此不能仅凭这里的一次计数推算完整调用费用。

常见问题

一个汉字等于一个 Token 吗?

不一定。不同分词器会以不同方式切分汉字、词语、数字和标点,同一段文本在不同模型里的计数可能不同。

为什么和接口账单不同?

接口可能使用不同分词器,也可能包含没有在这里粘贴的系统提示、上下文、检索材料和输出。应以平台用量明细为准。

文本压得越短越好吗?

不一定。应保留必要事实、条件和输出要求。先删除重复与无关内容,再检查任务结果质量。

接下来可以做什么