当前位置:首页 > AI与算力

一文讲清大模型里的 Token:它是什么、怎么切、为什么按它收费 | AI 算力

文玑阁14小时前AI与算力510
AI 算力 · Token 拆解  

《一文讲清大模型里的 Token:它是什么、怎么切、为什么按它收费》

我数的是字,它数的是 Token——这篇把中间那把尺子讲清楚 · 阅读约 8 分钟 · 无需技术背景

图片.png

一、先把两个 Token 分开

上个月帮同事看一份接口调用记录,我顺手数了数提示词的字数,跟后台那个数字一对,差得挺远。第一反应是平台算错了,差点去提工单。后来才明白:不是它算错,是我拿错了尺子——我数的是「字」,它数的是 Token。

讲正文之前得先澄清一件事:Token 这个词,不是大模型发明的。

手机登录一个应用之后,很长一段时间不用再输账号密码;住民宿时老板发一个临时门禁密钥,下一批客人来了换一把就行。这类东西在系统里也叫 Token,中文常译作「令牌」,本质是一张临时的、系统认账的通行证。
大模型说的 Token,是文本被切开之后的最小单元。可能是一个词、词的一部分、一个标点,甚至一个字符。两个词长得一模一样,说的完全不是一回事。
同一个词,两件事同一个词,两件事临时的通行证登录态 · 门禁密钥用完就换,系统认账≠文本切开后的最小单元词 · 词的一部分 · 标点 · 字符
图 1:左边是系统里的令牌,右边是大模型里的 Token,别搅在一起。

我一开始就是把这两件事混了,看见 Token 先想到登录态,愣了半天才绕回来。点上面的按钮对照着看,会清楚些。

二、Token 到底是什么

2026 年 3 月 22 日至 23 日的中国发展高层论坛 2026 年年会上,国家数据局局长刘烈宏给 Token 定了个中文名:词元。还给了一句比翻译更重的定位——既是「智能时代的价值锚点」,也是「连接技术供给与商业需求的结算单位」。

名字记不住也没关系,日常还是说 Token。按官方给的定义,Token 是大模型理解、处理、生成信息的最小单元,特点是可计量、可定价、可交易。

「最小单元」这几个字得咬准:它不一定是一个字,也不一定是一个词,可以是短语、一个标点,或者一个字符。模型词表里能被单独编号的那个东西,才叫一个 Token。

顺带说个容易被漏掉的细节:「词元」这个译法不是 2026 年才冒出来的。据复旦大学邱锡鹏教授受访时介绍,他 2021 年就在用,并推动中文语境里统一;之前「令牌」「代币」「分词单元」十几种叫法混着用。官方定名的价值,主要是让大家说同一个词。

顺手记一组数,但请连日期一起记:同一组官方报道披露,中国日均 Token 调用量 2024 年初约 1000 亿,2025 年底到 100 万亿,截至 2026 年 3 月已超 140 万亿。这类数字涨得飞快,脱离时间看就是错的,所以这里只写当时口径,不往后推。

三、怎么理解:它是一张兑换券

我习惯把 Token 想成中间那道兑换。

你干活换钱,拿钱买东西。跟老板说「我搬了两斤砖,换三个馒头」,多半得挨白眼;把砖换成钱,再拿钱买馒头,就顺了。模型也一样:它既不认汉字也不认英文字母,只认数字。先把人话切成 Token,再把每个 Token 换成词表里的编号,它才吃得下去。少一道都不行。

兑换关系示意打个比方劳动→钱→商品对应到模型人话→切成 Token→换成编号→模型计算
图 2:Token 是连接人类语言和模型计算的那道兑换。

这个类比还有个好用的地方:不同国家用不同货币,不同模型也各有各的词表。同一句话,在这个模型里是一种切法,换一个模型可能就是另一种。所以「一句话等于多少个 Token」从来没有统一答案,得先问是哪个模型、哪个分词器。

这是我踩的第二个坑:拿 A 模型的经验去估 B 模型的用量,怎么算都对不上。

四、为什么不直接数汉字

肯定有人要问:中文一个字一个字数不就完了,干嘛多切一道?两个原因,都跟效率有关,方向还不太一样。

先说那个我特别喜欢的例子:忐忑。单看「忐」或者「忑」,多数人得愣一下;两个字连起来立刻就认得,而且几乎不会再拿去组别的词。人要反应半天的东西,让模型每次都从单字重新拼,也一样费劲。把这种稳定搭配收成一个单元,省事。

稳定搭配合成一格忐+忑→忐忑一眼就认得也不太会拆开用单看要愣一下 → 合起来收成一个单元,处理起来更省
图 3:合并的是「稳定搭配」,不是随便挑两个相邻的字。

另一层原因:词表是固定的,人写的语言是开放的

模型面对的是一张大小固定的词表,可人写的东西没边:新词、人名、缩写、网络梗、专业名词,词表里不可能全有。子词切分就是留的后路——没见过的长词,拆成见过的碎片,照样能拼出来。

还有句实话得说在前面:以上讲的是「为什么要合并」,不等于某句话一定切出几个 Token。切分结果必须绑定具体分词器才有意义,谁要是给你一个「多少字等于多少 Token」的固定换算,先问问是哪个模型。

五、词表到底怎么来的

那凭什么把「忐忑」收成一个单元,而不是「我怀」?答案挺朴素:不靠拍脑袋,靠语料统计。

现在主流做法叫子词切分(subword tokenization)。人定的是目标词表大小、训练语料和算法,词表本身是从数据里学出来的,不是谁拿张表一条条往里填词。下面四张卡点开看。

① 老挨在一起的,容易被合成一格+
统计海量文本里哪些字、哪些符号经常相邻出现,出现得够频繁的搭配,就容易被收成一个单元。语料说了算,不是谁觉得顺眼就收。
② 固定短语、网络用语也常整体收+
四个字都认识、连起来意思却不能按字面推的那类表达,拆开反而更难处理,收成一格更划算。
③ 长专有名词,通常是被拆开的+
医学、法律里那种很长的术语,别想当然以为「一个词就是一个 Token」。这类词一般会被切成好几个子词,靠碎片拼出来——这正是子词切分留的后路。
④ 具体算法有名字,知道个大概就行+
BPE 按相邻符号的出现频率反复合并;WordPiece 挑的是合并后让训练数据似然提升最多的一对;SentencePiece 直接把原始文本连空格一起当字符流处理,对没有空格的语言更友好。三者都是「从语料里学」,差别在挑谁合并、怎么预处理。论文出处放在文末,不在这儿堆。
词表从语料里学出来,不同模型切法不同词表怎么来的海量文本→统计相邻搭配→合并高频组合→该模型的词表同一段文本,换个模型切法就变了原始文本模型 A模型 B色块仅表示切分位置不同,不代表任何具体数量
图 4:词表从语料里统计出来;切分位置随模型而变,所以计数也对不上。

六、它在运算链路的哪一环

把整条链路摆出来,位置就清楚了。

Token 在运算链路里的位置原始文本→分词器(查词表)→Token 编号序列↓模型计算→生成编号→拼回文字第一道门和最后一道门,用的都是这个模型自己的词表
图 5:分词器站在第一道门,也站在最后一道门。

分词器用的、且只用这个模型自己的词表。换个模型,前后两头都跟着变——这也解释了为什么同一段中文,在不同服务里显示的用量对不上。

我以前一直以为分词是「预处理的小事」,看完这条链路才改口:它决定了模型到底看见什么。切错了,后面算得再漂亮也是白搭。

七、为什么按 Token 收费,以及怎么少烧点

买东西出了问题找客服,客服不是用爱发电,这份服务成本本来就算在商品价格里。让大模型解决问题也一样:问题越复杂,它要做的运算越多,总得有把尺子把「干了多少活」量出来。Token 正好就是这把尺子,量完顺手也就成了账单的单位。

读进去的和吐出来的都要按 Token 计数,两边单价通常还不一样。账单具体怎么构成、哪几类 Token 在悄悄计费,我以前单写过一篇,这里不重复,需要就看这篇。

真想省,方向就三条,一分钱不花:

① 少说客套话

啰嗦:您好,麻烦帮我查一下明天天津那边的天气情况,谢谢啦
干脆:天津明天天气

每次调用都重发一遍又长又客气的系统设定,读进去的每一格都要计数。

② 别绕长句

绕:到底是什么原因导致了那场比赛最后的结果会是这样呢
直:那场比赛失利原因

工具不用你带着语气和情绪去问,把关键词摆出来就够了。

③ 指令写具体

含糊:帮我总结一下那篇赋里都有哪些写得特别好的句子
明确:找出三句流传最广的名句,只要原文,别解释

含糊的问题容易换来一大段无关的回答;生成那一侧通常更贵,能要三行就别放开让它写小作文。

这几条是经验,不是什么玄学参数。至于具体省多少,各家词表和单价都不一样,我不给倍数,免得明天就过时。

资料来源

这篇里的事实都能按下面这些线索查回去;示意性的切分数字一个没收,因为切分结果取决于具体分词器,给不出通用换算。
  • 人民日报《「Token」中文名定了:词元》,2026-03-25,国家数据局官网转载;新华社同题报道、央视网 2026-03-24。定名、定义与日均调用量数据均出于此。

  • 澎湃新闻《「Token」有了中文名:词元》,2026-03;红星新闻访谈(济南时报转载),2026-03,邱锡鹏译名源流为受访者自述口径。

  • Sennrich, Haddow & Birch, Neural Machine Translation of Rare Words with Subword Units, ACL 2016, arXiv:1508.07909(BPE 用于神经机器翻译)。

  • Schuster & Nakajima, Japanese and Korean Voice Search, ICASSP 2012(WordPiece);Devlin et al., BERT, 2018。

  • Kudo & Richardson, SentencePiece, EMNLP 2018。

三题小测

看记牢没有

1. 「一个汉字正好等于一个 Token」,这话对吗?

2. 明明能数汉字,为什么还要多切一道?

3. 为什么账单按 Token 算?

就写到这儿。Token 这东西不难,难的是别把它当成「字」。剩下的以后慢慢聊。

分享给朋友:

相关文章

用8张图了解算力网产业链

用8张图了解算力网产业链

本文以通俗的方式全面解读算力网产业链,依次梳理了上游硬件元器件、机房配套设施、中游算力集群、调度平台与运营服务、下游各类行业应用三大产业链环节,分析了各环节价值分布,同时介绍了 CPU、GPU、ASI…

国产大模型怎么选? 六大主流模型一句话说清楚

国产大模型怎么选? 六大主流模型一句话说清楚

现在AI大模型火得不行,国产模型更是百花齐放。但名字一大堆:文心一言、通义千问、DeepSeek、Kimi、GLM、讯飞星火……到底哪个好用?该怎么选?别慌,这篇用大白话给你讲明白,看完就知道自己该用…

AI Skill是什么?通俗易懂讲解AI技能包和用法

AI Skill是什么?通俗易懂讲解AI技能包和用法

2026年爆火的AI Skill到底是什么?本文用大白话通俗讲解AI技能包的核心含义,对比AI Skill与Prompt、MCP的本质区别。无需代码基础,普通人也能快速上手,教你如何安装、制作AI S…

大模型:一个读完了整个互联网的“话痨” | AI 三部曲①

大模型:一个读完了整个互联网的“话痨” | AI 三部曲①

大模型不思考、不推理,只做一件事:猜下一个词。用“文字接龙”讲透训练、涌现与幻觉,附可玩的接龙演示。AI 三部曲第一篇。…

Agent:给话痨配上手脚和待办清单 | AI 三部曲②

Agent:给话痨配上手脚和待办清单 | AI 三部曲②

大模型只有嘴,Agent 给它配上了规划、工具、记忆、反思四大装备。用“点一杯咖啡”的完整拆解讲清 Agent。AI 三部曲第二篇。…

当 AI 搬进你的工位:打工人自救指南 | AI 三部曲③

当 AI 搬进你的工位:打工人自救指南 | AI 三部曲③

AI 是 24 小时不喊累的实习生,产出质量取决于你的需求说明书。附好/烂 prompt 对照实验与三题自救测试。三部曲收官。…

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。