✏️ AI 术语图鉴

Token · 词元

英文:token/ˈtoʊkən/(重音在前)

AI 基础难度:入门 ★

🗣️一句话大白话

AI 读文字不是按「字」读的,而是先把文字切成小块,一块就是一个 Token。你可以把它理解成 AI 眼里的「字」——但它切的块,和你以为的字不一定一样大。

Token:AI 眼里的「字」,和你以为的不一样你写下的句子帮我写一篇周报切块机Tokenizer帮我写一篇周报每 1 块 = 1 个 Token · 中文 1 个字 ≈ 1~2 块不同模型切法不一样,以实际账单为准💡 实用结论想控制长度,别说「500 Token 以内」直接说「控制在 200 字以内」,AI 更听得懂💰 账单按「块数」算输入(指令+资料)数块,输出更贵聊得越久 → 内容越多 → 账单越长
「Token」示意图

🎬真实场景

你让 AI 写了篇 800 字的周报,API 账单上显示消耗了 1200 个 Token。因为计费数的是这些「小块」:中文一个字通常要占 1~2 个 Token,而且你发过去的指令、AI 读完的资料也都按 Token 算钱。

📮你可以这样说

「想控制长度时不用说「500 个 Token 以内」,AI 更听得懂人话:直接说「控制在 200 字以内」。」

通过 AI绘图 工作台生成(模型 API 额度由此消耗);未配置模型密钥时会提示失败原因。

⚠️边界与常见误解

  • ▸误解:1 个 Token = 1 个汉字。实际中文约 1 字 ≈ 1.5~2 Token,不同模型切法还不一样
  • ▸输入和输出分开计费,输出通常更贵
  • ▸上下文窗口和费用都按 Token 数,所以「聊得越久越贵」不是错觉

🕸️知识关系图

这个词条与相关术语、AI绘图 知识的连接关系

🔗相关术语

📚深入阅读

魔搭紫皮书 · ModelScope Cookbook ↗教程 / 书籍 · 开发者

魔搭官方开源的开源模型实战指南,34 章从模型选型、推理到微调、RAG、Agent 全链路,每章带可复现代码。想搞懂『RAG 到底怎么搭』『微调怎么跑』,它是目前中文里最体系化的答案。

Hugging Face 免费课程 ↗教程 / 书籍 · 开发者

Hugging Face 官方的模型应用课程,LLM、Agent、RAG 都有免费课。想系统补『模型到底是什么』的硬知识,这是最靠谱的免费起点之一。

OpenAI 平台文档 ↗官方文档 · 进阶

主流模型 API 的官方文档,Token 计费、Function Calling、结构化输出等概念都有清晰定义。概念看不懂时,来这看原始定义最准。

想找更多?去 资源库 看全清单。