学习
学习
围绕新闻中的 AI 主题提供解读、入门与背景:模型如何被构建、训练、运行和评估,面向想了解头条背后原理的读者。
学习
所有类别
基础
4- 概念什么是人工智能?↗人工智能(AI)是设计计算机系统的领域:这些系统使用与学习、推理、感知和语言等能力相关的方法,生成面向目标的输出,例如预测、内容、推荐或决策。AI 也指这一领域所创建的系统。
- 概念什么是机器学习?↗机器学习是一种构建软件的方法:软件从示例或反馈中学习模式,并利用这些模式,对此前未见过的案例做出有用的预测、决策或输出。它是人工智能的一种方法,并不是所有人工智能的同义词。
- 概念什么是生成式 AI?↗生成式 AI 是一种人工智能,它从现有数据中学习模式,并利用这些模式生成新的内容,例如文本、图像、音频、视频或代码。它通常会根据指令或其他输入来生成内容。
- 比较训练与推理↗训练会改变 AI 模型学到的设置,使其能够更好地执行某项任务;推理则使用该模型选定的状态来生成输出,而不会改变这些已学到的设置。训练会创建或调整模型,而推理则是让模型投入工作。
词元、上下文与表示
8- 比较上下文窗口与知识截止日期↗上下文窗口限制 AI 模型在一次请求中能够使用的信息量,而知识截止日期描述其内置知识的时效性。前者是以 token 衡量的容量,后者是与训练相关的日期。
- 概念什么是 AI 中的 Token?↗AI 中的 token 是 LLM 用来表示和生成文本的词汇表中的一个条目。根据模型的 tokenizer,一个 token 可以对应一个单词、单词的一部分、标点符号、空白,甚至编码字符的一部分。
- 概念什么是 AI 知识截止日期?↗AI 知识截止日期是指模型内置知识预计能够反映其训练数据的截至日期。它是一个粗略边界,并不保证模型知道此前的每一条事实,也不意味着 AI 产品无法获取之后的信息。
- 概念什么是上下文窗口?↗上下文窗口是 AI 模型在生成一次响应时可以使用的最大令牌化内容量。在许多语言模型 API 中,这一预算涵盖输入和生成的输出,但提供商也可能分别设置输入或输出限制。
- 概念什么是推理 Token?↗推理 Token 是 AI 模型在生成答案过程中产生的 Token,与您看到的答案文本分开。它们代表规划、检查或尝试某种方法等额外的生成步骤;即使服务将其隐藏,它们也可能计入用量和限制。
- 概念什么是输入令牌?↗输入令牌是模型在开始生成下一条响应之前接收并处理的令牌。它们来自完整的面向模型的请求,而不只是你最近输入的文字。
- 概念什么是输出令牌?↗输出令牌是模型生成响应时所产生的单位。它们通常构成你收到的文本、代码、结构化数据或工具指令,不过提供商也可能将隐藏的推理计入输出用量。
- 比较输入令牌 vs. 输出令牌 vs. 推理令牌↗输入令牌是模型接收的内容,输出令牌是模型生成的内容,而推理令牌是模型在得出答案过程中内部生成的令牌。需要注意的是,即使 API 将推理令牌作为单独的明细显示,它们通常仍包含在输出用量中。
模型与架构
7- 概念什么是 AI 模型?↗AI 模型是 AI 系统中将输入转换为输出的部分,输出可以是预测、分类、推荐、动作或生成结果。在当前大多数用法中,它指的是行为由训练数据塑造的机器学习模型。
- 概念什么是 LLM?↗大型语言模型(LLM)是一种在大量语言数据集合上训练的 AI 模型,用于处理或生成可能的文本序列。大多数用于文本生成的 LLM 会接收提示,并一次生成一小段响应。
- 概念什么是基础模型?↗基础模型是在广泛数据上训练的机器学习模型,因此可以适配许多不同任务,而不是只为某一项任务构建。它是可复用的起点,而不是完成的应用程序。
- 概念什么是模型参数?↗模型参数是存储在已拟合模型内部的数值,它们决定模型如何将输入转换为输出。在神经网络中,模型参数通常包括权重和偏置;这些数值在训练期间确定,并在模型进行预测时重复使用。
- 概念什么是模型权重?↗模型权重是经过学习得到的数值,用于决定模型在计算输出时对每个输入或中间信号的使用强度。它们通常以称为矩阵或张量的大型数值组形式存储;训练会调整这些数值,使模型的输出更好地符合其目标。
- 概念什么是神经网络?↗神经网络是一种机器学习模型,它通过将输入数字传过由简单计算组成的连接层,学习把输入数字转换为有用的输出数字。这些层共同构成一个可训练的数学函数,而不是一个字面意义上的电子大脑。
- 比较模型参数与模型权重↗模型参数是决定模型行为的所有拟合值;模型权重既可以指一种参数,也可以非正式地指模型整体的已学习值。在层的方程中,“权重”通常取较窄的含义。在“下载模型权重”这样的表述中,它通常取较宽的含义。
训练与适配
1推理与服务
6- 概念什么是 AI 中的推理?↗AI 中的推理是指在不更新模型已学内容的情况下,将输入提供给训练好的模型并生成输出的过程。这是模型的使用阶段:输入一张照片,输出一个标签;或者输入一个提示词,输出生成的文本。
- 概念什么是推理吞吐量?↗推理吞吐量是指推理系统在单位时间内完成的模型工作量,统计范围涵盖它正在处理的所有请求。它可以用每秒完成的请求数、推理次数、样本数或令牌数来衡量。
- 概念什么是推理延迟?↗推理延迟是指 AI 系统接收输入到生成指定输出之间经过的时间。只有明确计时器从哪里开始、在哪里停止,以及什么样的输出算作完成,延迟数值才有意义。
- 概念什么是每秒令牌数?↗每秒令牌数(TPS 或 tok/s)用于衡量 AI 系统在一秒内生成的令牌数量。这个数值可能描述单个响应的输出速度,也可能描述整个服务系统的综合吞吐量,因此仅凭标签无法判断其含义。
- 概念什么是首个令牌时间?↗首个令牌时间(Time to First Token,TTFT)是指从开始发送语言模型请求到收到其响应的首个令牌之间经过的时间。它衡量的是初始等待时间,而不是后续响应到达的速度。
- 比较延迟 vs. TTFT vs. 每秒令牌数 vs. 吞吐量↗延迟是一次推理请求所需的时间;TTFT 是流式请求开始返回答案所需的时间;每秒令牌数是一种速率,可能描述单个流,也可能描述整个系统;吞吐量则是系统随时间完成的总工作量。最关键的区别在于范围:延迟和 TTFT 衡量单个请求所花的时间,而吞吐量统计一个测量时间窗口内完成的工作量。
AI 系统、编排与智能体
5- 比较AI 模型 vs. 聊天机器人 vs. Harness vs. Agent↗AI 模型是生成输出的组件;聊天机器人是对话式应用;harness 是围绕模型、管理上下文和执行的软件;agent 是利用这些组件来选择并执行步骤的目标导向系统。它们是相互重叠的层次,而不是四种彼此竞争的 AI 类型。
- 概念什么是 AI Harness?↗AI harness 是围绕 AI 模型的软件,用于控制模型接收什么、如何处理模型的输出,以及模型如何连接到应用程序的其他部分。它可以小到只是管理聊天历史记录的代码,也可以大到管理工具、记忆、权限、重试和长时间运行任务的运行时。
- 概念什么是 AI 智能体?↗AI 智能体是一种软件系统,它使用 AI 模型选择下一步行动、观察结果,并持续执行,直到完成任务、需要帮助或达到限制。不同于只能生成答案的模型,智能体可以控制多步骤流程,并在既定权限范围内通过工具采取行动。
- 概念什么是 AI 聊天机器人?↗AI 聊天机器人是一种利用人工智能,通过文本或语音与人进行对话的软件应用。它接收消息,使用 AI 模型对消息进行理解或回答,并管理继续对话所需的上下文、规则、数据和操作。
- 概念什么是 LLM 中的工具使用?↗LLM 中的工具使用是一种机制,使语言模型能够请求外部操作(例如搜索数据库、执行计算或发送消息),并在其响应中使用返回的结果。模型通常会选择工具并提供拟议的输入;模型周围的软件则决定是否执行该调用。