大模型是怎么回答问题的？从 Token 到下一个词预测

ChatGPT、Claude、Gemini 这类大模型回答问题时，并不是在数据库里查答案，而是把文字切成 Token，再一个接一个地预测下一个最可能出现的 Token。这篇不讲公式，用日常例子讲清这个过程，并解释它如何导致「同一个问题每次回答不一样」「会编造」「不知道最新消息」「聊久了会忘」这些常见现象。

先说结论：它在「接龙」，不是在「查资料」

你问 ChatGPT「天空为什么是蓝色的」，它几秒钟就给出一段条理清楚的解释。很多人会以为它在背后的数据库里找到了这段话——其实不是。

大语言模型（下文简称大模型）做的事情更像一场极其复杂的文字接龙：根据你说的话和它自己已经写出的内容，一次只预测接下来的一小段文字，然后把这段文字接上，再预测下一段，如此循环，直到回答结束。

整个过程可以拆成三步。

第一步：把文字切成 Token

模型不能直接读文字，它处理的是 Token（词元）。一个 Token 可能是一个完整的词、词的一部分、一个汉字、一个标点，取决于模型的「分词器」怎么切。

OpenAI 给出的英文经验值是：1 个 Token 约等于 4 个字符，或者 3/4 个英文单词，100 个 Token 大约是 75 个单词。中文没有通用的固定比例，不同模型的分词器切出来的数量不同。

Token 这个概念之所以重要，是因为你在使用 AI 时遇到的很多「数量」都是按它算的：

• 计费：API 按输入和输出的 Token 数收费；
• 长度上限：模型一次能处理多少内容，叫上下文窗口，单位也是 Token；
• 用量限制：一些订阅产品的额度，背后同样按 Token 计算。

第二步：预测下一个 Token

切好之后，模型会根据前面的全部内容，计算「下一个 Token 是什么」的概率。

举个示意性的例子（数字只为说明原理，不是真实数据）：前文是「今天天气很好，我们去公园」，模型可能会算出：

候选的下一个词	示意概率
散步	较高
野餐	较高
跑步	中等
开会	很低

然后模型从这些候选里按概率挑选一个——通常是概率较高的，但不一定每次都选最高的那个。这一点很关键，后面会讲到它带来的影响。

第三步：接上去，再预测，直到结束

选出的 Token 被接到文本末尾，成为「前文」的一部分，模型再带着新的前文预测下一个 Token。如此反复，直到模型生成一个表示「回答结束」的特殊标记，或者达到长度上限。

你在 ChatGPT、Claude 里看到回答一个字一个字地冒出来，正是这个过程的直接体现——技术上叫流式输出：每生成一小段就立刻发给你，而不是等全部写完再一次性显示。

模型的能力是怎么练出来的

只靠「预测下一个词」，为什么能写代码、做翻译、回答专业问题？主流做法大致分三个阶段：

1. 预训练：在海量文本上反复练习「给出前文，预测下一个 Token」。为了把这件事做好，模型不得不学会语法、事实、推理模式和大量领域知识之间的关联。这个阶段结束时，模型很会「续写」，但还不太会「对话」。
2. 指令微调：用大量「问题—优质回答」的示例继续训练，让模型学会按照指令、以对话的形式回答。
3. 人类反馈训练：让人对模型的多个回答打分或排序，再用这些反馈调整模型，让回答更有帮助、更安全、更符合人的期望。

支撑这一切的底层结构叫 Transformer，来自 2017 年的论文《Attention Is All You Need》。它的核心是「注意力机制」：预测下一个 Token 时，模型会判断前文中哪些部分与当前最相关，并给予更多「关注」。这让模型能处理很长的上下文，也让大规模训练变得可行。

这套机制解释了哪些日常现象

理解了「逐个预测下一个 Token」，很多使用中的困惑就有了答案：

你遇到的现象	背后的原因
同一个问题问两次，回答不一样	每一步都按概率挑选，带有随机性
一本正经地编造事实或参考文献	它生成的是「最像答案」的文本，而不是查证过的事实，详见AI 幻觉是什么
不知道最近发生的事	知识来自训练数据，训练截止之后的事没见过，除非产品接入了联网搜索
对话很长之后「忘了」前面说的	超出上下文窗口的内容无法再参与预测
回答一个字一个字地出现	流式输出，边生成边显示
按 Token 计费、有用量上限	模型处理的基本单位就是 Token

至于「联网搜索」，模型本身并不会上网。产品是通过工具调用给模型接上了搜索能力：模型判断需要查资料时发出请求，系统把搜索结果放回上下文，模型再据此作答。这也是为什么本站的 AI 资讯周报会强调：关于最新动态，一定以官方原始来源为准。

知道这些，怎么把 AI 用得更好

既然模型是根据「前文」预测后文，那么你给的前文质量，直接决定了回答的质量。几个最实用的做法：

1. 给足背景：说清楚你是谁、要做什么、给谁看、有什么限制。前文越具体，「最可能的下一个词」就越贴近你想要的。
2. 把资料直接贴进去：让模型基于你提供的内容回答，而不是凭训练数据回忆，能显著减少编造。
3. 长对话适时重开：话题变了或对话很长时，新开一个对话并附上必要的摘要，避免早期内容超出上下文窗口。
4. 重要结论自己核对：尤其是数字、日期、引用和最新消息。

写好提示词的更多方法，可以看 ChatGPT 怎么用 和 Claude 怎么用 两篇完整教程。