知识截止日期的运作方式

在训练过程中,大语言模型会根据训练数据中的模式调整其内部参数。训练完成的模型部署后,回答问题通常会使用这些参数,而不会更新它们。新的事件不会仅仅因为时间流逝,或有人在聊天中提到它们,就进入模型。

所报告的截止日期概括了模型所学习的信息预期有多新。但这并不意味着所有来源都是在同一天收集的。训练数据来自许多来源,而这些来源是在不同时间收集和筛选的。截止日期之前的某些信息可能缺失、十分罕见、彼此矛盾,或者在数据中的呈现过于薄弱,以至于模型无法可靠地复现。

因此,研究人员会区分报告的截止日期实际有效截止日期。报告的截止日期是模型提供商给出的日期。实际有效截止日期是指,对于特定来源或主题,模型实际能够可靠展现知识的时间范围。针对带日期数据集的研究发现,这些边界可能并不一致。

因此,截止日期更像是一条逐渐模糊的边缘,而不是一道封闭的墙。接近这条边缘时,知识可能变得更加零散,而且不同主题的覆盖情况也各不相同。

一个具体示例

假设某模型的文档将其知识截止日期定为 3 月 31 日。

  • 你询问一项在 2 月 1 日通过、且被广泛报道的法律。模型可能回答正确,因为该事件发生在截止日期之前,并且在其训练数据中出现得足够频繁。
  • 你询问一则在 2 月 1 日发布的、鲜为人知的地方公告。即使它早于截止日期,模型也可能不知道这则公告。
  • 你询问 4 月 15 日公布的选举结果。对于训练数据截至 3 月的模型来说,它不可能从训练数据中学到这一结果。没有其他来源时,它可能承认信息缺口、进行推断,或编造一个看似合理的答案。
  • 你将 4 月 15 日的官方结果粘贴到对话中,并提出同样的问题。此时,模型可以根据你提供的文本作答。它的截止日期仍然是 3 月 31 日。

网络搜索和检索系统的工作方式就像上一个例子。工具会找到相关材料,并将其添加到模型在本次请求中可以读取的信息中。这样可以生成当前答案,但不会改变模型在训练期间学到的内容。

截止日期为何重要

只要答案取决于时间,截止日期就很重要。新闻、法律、价格、在任官员、产品规格、医疗指南和软件文档,都可能在模型完成训练后发生变化。

请查看你所使用的具体模型的提供商文档。同一提供商的不同模型可能有不同的截止日期,而且产品也可能切换其底层模型。不要指望模型能够正确识别自己的截止日期。

对于高风险或变化迅速的问题,截止日期只是第一项检查。你还需要了解产品是否能够检索当前来源、它是否确实为这次回答进行了检索,以及这些来源是否权威。搜索可以缩小时效差距,但来源质量不高或被误读,仍然可能导致错误答案。

较晚的截止日期可以提高近期信息已被纳入训练数据的可能性,但不能证明模型知道你需要的事实。对于重要且有时效性的知识,请在你自己的专业领域中进行测试。

常见误解

“模型知道截止日期之前的一切”

不对。这个日期描述的是训练边界,而不是完整覆盖范围。截止日期之前的事实也可能缺失或不可靠。

“模型无法讨论截止日期之后的任何事情”

如果你或某个工具提供了较新的信息,模型可以对其进行推理。它也可能推断出可能发生的后续发展,但推断并不等于模型已经学到了之后发生的事件。

“浏览会更新模型”

浏览会为模型提供在本次请求中临时读取的材料,但不会重写训练完成的模型,也不会推迟其截止日期。

“截止日期等同于上下文窗口”

二者限制的是不同方面。知识截止日期涉及模型何时学到内置知识;上下文窗口限制的是模型在当前请求中能够处理多少信息。

接下来阅读什么

实际应用中的关键区别,在于模型在训练期间学到的信息,以及模型回答时获得的信息。如果你需要理解这一区别的基础,请从什么是 LLM?开始。然后阅读上下文窗口与知识截止日期,直接区分这两个限制。