Tokens, contexto e representação

Como um modelo lê e retém texto: tokens, janelas de contexto, embeddings e datas de corte de conhecimento, explicados para quem usa ferramentas de IA.

Aprender

Tokens, contexto e representação

ComparaçãoJanela de contexto vs. limite de conhecimentoUma janela de contexto limita a quantidade de informação que um modelo de IA pode usar em uma solicitação, enquanto um limite de conhecimento descreve o quão recentes são seus conhecimentos incorporados. Um é uma capacidade medida em tokens; o outro é uma data associada ao treinamento.
ConceitoO que são tokens de entrada?Tokens de entrada são os tokens que um modelo recebe e processa antes de começar a gerar a próxima resposta. Eles vêm da solicitação completa voltada ao modelo, não apenas das últimas palavras que você digitou.
ConceitoO que são tokens de raciocínio?Tokens de raciocínio são tokens que um modelo de IA gera enquanto trabalha para chegar a uma resposta, separados do texto da resposta que você vê. Eles representam etapas geradas adicionais, como planejar, verificar ou tentar uma abordagem, e podem ser contabilizados no uso e nos limites mesmo quando o serviço os oculta.
ConceitoO que são tokens de saída?Tokens de saída são as unidades que um modelo gera ao produzir uma resposta. Eles geralmente compõem o texto, o código, os dados estruturados ou as instruções de ferramentas que você recebe, embora um provedor também possa contabilizar o raciocínio oculto como uso de saída.
ConceitoO que é o limite de conhecimento de uma IA?O limite de conhecimento de uma IA é a data até a qual se espera que o conhecimento integrado de um modelo reflita seus dados de treinamento. É uma fronteira aproximada, não uma garantia de que o modelo conheça todos os fatos anteriores ou de que um produto de IA não possa buscar informações posteriores.
ConceitoO que é um token em IA?Um token em IA é um item do vocabulário que um LLM usa para representar e gerar texto. Dependendo do tokenizador do modelo, um token pode corresponder a uma palavra, parte de uma palavra, pontuação, espaço em branco ou até parte de um caractere codificado.
ConceitoO que é uma janela de contexto?Uma janela de contexto é a quantidade máxima de material tokenizado que um modelo de IA pode usar ao produzir uma resposta. Em muitas APIs de modelos de linguagem, esse orçamento abrange a entrada e a saída gerada, embora os provedores também possam impor limites separados para entrada ou saída.
ComparaçãoTokens de entrada vs. tokens de saída vs. tokens de raciocínioTokens de entrada são o que um modelo recebe; tokens de saída são o que ele gera; e tokens de raciocínio são tokens gerados internamente usados para chegar a uma resposta. O detalhe importante é que os tokens de raciocínio geralmente fazem parte do uso de saída, mesmo quando uma API os exibe como uma informação separada.