Como funciona um limite de conhecimento

Durante o treinamento, um modelo de linguagem de grande porte ajusta seus valores internos usando padrões encontrados em seus dados de treinamento. Depois que esse modelo treinado é implantado, responder à sua pergunta normalmente usa esses valores sem atualizá-los. Novos acontecimentos não entram no modelo simplesmente porque o tempo passa ou porque alguém os menciona em uma conversa.

O limite informado resume quão recentes devem ser as informações aprendidas pelo modelo. Isso não significa que todas as fontes tenham sido coletadas em um único dia. Os dados de treinamento vêm de muitas fontes, coletadas e filtradas em momentos diferentes. Algumas informações anteriores ao limite podem estar ausentes, ser raras, contraditórias ou estar representadas de forma insuficiente para que o modelo as reproduza com confiabilidade.

Por isso, os pesquisadores distinguem um limite informado de um limite efetivo. O limite informado é a data fornecida pelo provedor do modelo. O limite efetivo é o período até o qual o modelo realmente demonstra conhecimento confiável para uma determinada fonte ou tópico. Pesquisas com conjuntos de dados datados constataram que esses limites podem ser diferentes.

Isso faz com que um limite se pareça mais com uma borda difusa do que com uma parede selada. O conhecimento pode ficar mais fragmentado perto da borda, e a cobertura varia conforme o assunto.

Um exemplo prático

Suponha que a documentação de um modelo indique 31 de março como seu limite de conhecimento.

  • Você pergunta sobre uma lei amplamente divulgada, aprovada em 1º de fevereiro. O modelo pode responder corretamente porque o acontecimento ocorreu antes do limite e apareceu com frequência suficiente em seus dados de treinamento.
  • Você pergunta sobre um aviso local pouco conhecido, publicado em 1º de fevereiro. O modelo pode não conhecê-lo, embora ele seja anterior ao limite.
  • Você pergunta sobre o resultado de uma eleição anunciado em 15 de abril. O modelo não poderia ter aprendido esse resultado com dados de treinamento que terminassem em março. Sem outra fonte, ele pode admitir a lacuna, fazer uma inferência ou inventar uma resposta plausível.
  • Você cola o resultado oficial de 15 de abril na conversa e faz a mesma pergunta. Agora, o modelo pode responder com base no texto que você forneceu. Seu limite continua sendo 31 de março.

Os sistemas de pesquisa na web e de recuperação funcionam como no último caso. Uma ferramenta encontra material relevante e o adiciona às informações que o modelo pode ler para aquela solicitação. Isso pode produzir uma resposta atual sem alterar o que o modelo aprendeu durante o treinamento.

Por que o limite é importante

Um limite é importante sempre que uma resposta depende do tempo. Notícias, leis, preços, ocupantes de cargos, especificações de produtos, orientações médicas e documentação de software podem mudar depois que um modelo foi treinado.

Consulte a documentação do provedor para saber o modelo exato que você está usando. Modelos do mesmo provedor podem ter limites diferentes, e um produto pode trocar o modelo subjacente. Não confie no modelo para identificar corretamente seu próprio limite.

Para perguntas de alto risco ou que mudam rapidamente, uma data de limite é apenas a primeira verificação. Você também precisa saber se o produto consegue recuperar fontes atuais, se de fato fez isso para essa resposta e se essas fontes são confiáveis. A pesquisa reduz a lacuna de atualidade, mas fontes fracas ou interpretadas incorretamente ainda podem produzir uma resposta errada.

Um limite mais recente pode aumentar a probabilidade de que informações recentes tenham sido incluídas. Isso não prova que o modelo conheça o fato de que você precisa. Teste conhecimentos importantes e sensíveis ao tempo na sua própria área de atuação.

Equívocos comuns

"O modelo sabe tudo o que aconteceu antes do limite"

Não. A data descreve uma fronteira do treinamento, não uma cobertura completa. Um fato anterior ao limite pode estar ausente ou não ser confiável.

"O modelo não pode discutir nada que aconteceu depois do limite"

Ele pode raciocinar sobre informações mais recentes que você ou uma ferramenta forneça. Também pode inferir desenvolvimentos prováveis, mas uma inferência não é evidência de que ele tenha aprendido o acontecimento posterior.

"A navegação atualiza o modelo"

A navegação fornece ao modelo material temporário para ler durante uma solicitação. Ela não reescreve o modelo treinado nem move seu limite.

"O limite é igual à janela de contexto"

Eles limitam coisas diferentes. O limite de conhecimento diz respeito a quando o conhecimento integrado foi aprendido. A janela de contexto limita a quantidade de informação que o modelo pode processar na solicitação atual.

Próximos passos

A distinção prática é entre as informações aprendidas durante o treinamento e as informações fornecidas quando o modelo responde. Se você precisa dos fundamentos dessa distinção, comece por O que é um LLM?. Em seguida, use Janela de contexto vs. limite de conhecimento para separar diretamente os dois limites.