词元、上下文与表示

模型如何读取并记住文本：词元、上下文窗口、嵌入和知识截止日期，面向使用 AI 工具的读者讲解。

学习

词元、上下文与表示

比较上下文窗口与知识截止日期上下文窗口限制 AI 模型在一次请求中能够使用的信息量，而知识截止日期描述其内置知识的时效性。前者是以 token 衡量的容量，后者是与训练相关的日期。
概念什么是 AI 中的 Token？AI 中的 token 是 LLM 用来表示和生成文本的词汇表中的一个条目。根据模型的 tokenizer，一个 token 可以对应一个单词、单词的一部分、标点符号、空白，甚至编码字符的一部分。
概念什么是 AI 知识截止日期？AI 知识截止日期是指模型内置知识预计能够反映其训练数据的截至日期。它是一个粗略边界，并不保证模型知道此前的每一条事实，也不意味着 AI 产品无法获取之后的信息。
概念什么是上下文窗口？上下文窗口是 AI 模型在生成一次响应时可以使用的最大令牌化内容量。在许多语言模型 API 中，这一预算涵盖输入和生成的输出，但提供商也可能分别设置输入或输出限制。
概念什么是推理 Token？推理 Token 是 AI 模型在生成答案过程中产生的 Token，与您看到的答案文本分开。它们代表规划、检查或尝试某种方法等额外的生成步骤；即使服务将其隐藏，它们也可能计入用量和限制。
概念什么是输入令牌？输入令牌是模型在开始生成下一条响应之前接收并处理的令牌。它们来自完整的面向模型的请求，而不只是你最近输入的文字。
概念什么是输出令牌？输出令牌是模型生成响应时所产生的单位。它们通常构成你收到的文本、代码、结构化数据或工具指令，不过提供商也可能将隐藏的推理计入输出用量。
比较输入令牌 vs. 输出令牌 vs. 推理令牌输入令牌是模型接收的内容，输出令牌是模型生成的内容，而推理令牌是模型在得出答案过程中内部生成的令牌。需要注意的是，即使 API 将推理令牌作为单独的明细显示，它们通常仍包含在输出用量中。