模型与架构

模型究竟是什么：模型家族、参数、权重、Transformer 与混合专家架构，以及这些选择在实践中意味着什么。

学习

模型与架构

概念什么是 AI 模型？AI 模型是 AI 系统中将输入转换为输出的部分，输出可以是预测、分类、推荐、动作或生成结果。在当前大多数用法中，它指的是行为由训练数据塑造的机器学习模型。
概念什么是 LLM？大型语言模型（LLM）是一种在大量语言数据集合上训练的 AI 模型，用于处理或生成可能的文本序列。大多数用于文本生成的 LLM 会接收提示，并一次生成一小段响应。
概念什么是基础模型？基础模型是在广泛数据上训练的机器学习模型，因此可以适配许多不同任务，而不是只为某一项任务构建。它是可复用的起点，而不是完成的应用程序。
概念什么是模型参数？模型参数是存储在已拟合模型内部的数值，它们决定模型如何将输入转换为输出。在神经网络中，模型参数通常包括权重和偏置；这些数值在训练期间确定，并在模型进行预测时重复使用。
概念什么是模型权重？模型权重是经过学习得到的数值，用于决定模型在计算输出时对每个输入或中间信号的使用强度。它们通常以称为矩阵或张量的大型数值组形式存储；训练会调整这些数值，使模型的输出更好地符合其目标。
概念什么是神经网络？神经网络是一种机器学习模型，它通过将输入数字传过由简单计算组成的连接层，学习把输入数字转换为有用的输出数字。这些层共同构成一个可训练的数学函数，而不是一个字面意义上的电子大脑。
比较模型参数与模型权重模型参数是决定模型行为的所有拟合值；模型权重既可以指一种参数，也可以非正式地指模型整体的已学习值。在层的方程中，“权重”通常取较窄的含义。在“下载模型权重”这样的表述中，它通常取较宽的含义。