O que é um LLM?

Não existe um tamanho oficial a partir do qual um modelo de linguagem se torna “grande”. O rótulo é relativo. Em geral, ele indica uma combinação de muitos parâmetros aprendidos, dados de treinamento abrangentes, requisitos computacionais substanciais e capacidade de lidar com mais de uma tarefa linguística específica.

Um modelo mental útil

Pense em um LLM generativo como uma função que recebe uma sequência e retorna pontuações para possíveis continuações.

A sequência é composta por tokens: as unidades de texto que o modelo processa, que podem ser palavras inteiras, partes de palavras, pontuação ou outros símbolos. O modelo não elabora um parágrafo oculto para depois revelá-lo. Ele atribui pontuações ao que poderia vir em seguida, seleciona um token, adiciona esse token à sequência e executa o processo novamente.

Esse loop é fundamental:

flowchart LR
    A[Prompt and prior output] --> B[LLM scores possible next tokens]
    B --> C[One token is selected]
    C --> D[Selected token is appended]
    D --> B

A própria saída do modelo, portanto, torna-se parte da próxima entrada. Uma escolha inicial pode alterar todas as escolhas seguintes.

Esse modelo mental é mais preciso do que chamar um LLM de banco de dados. O treinamento pode fazer com que um modelo reproduza material que viu, mas a geração comum não funciona pesquisando uma coleção de frases armazenadas e colando a correspondência mais próxima. O modelo aplica relações numéricas aprendidas à sequência atual.

Como funciona um LLM

Um LLM tem duas fases distintas: treinamento e uso.

Durante o pré-treinamento

O texto é dividido em tokens. O modelo recebe problemas de previsão criados a partir desse texto. Um modelo de linguagem causal prevê o próximo token com base nos tokens anteriores. Outros modelos de linguagem aprendem reconstruindo tokens ocultos ou transformando uma sequência em outra.

Cada previsão produz um sinal de erro. O treinamento ajusta repetidamente os pesos numéricos do modelo para tornar mais prováveis as previsões melhores. Ao longo de muitos exemplos, esses pesos capturam padrões reutilizáveis envolvendo ortografia, gramática, estilo, fatos, código e relações entre ideias.

A arquitetura Transformer ajuda o modelo a combinar partes relevantes da sequência disponível ao calcular cada representação. Ela é a arquitetura dominante por trás dos LLMs, mas não faz parte de uma definição atemporal: outras arquiteturas também podem ser usadas para construir modelos de linguagem de grande escala.

O pré-treinamento cria um modelo-base, não necessariamente um assistente útil. Treinamento adicional pode tornar o modelo melhor em seguir instruções, preferir certos tipos de resposta ou recusar determinados pedidos. Essas etapas mudam seu comportamento, mas não o transformam em um banco de dados nem garantem que sua saída seja verdadeira.

Durante a geração

No momento da inferência, os pesos treinados permanecem fixos. O prompt e qualquer outro contexto fornecido são convertidos em tokens. O modelo calcula uma pontuação para cada possível token seguinte. Em seguida, o software escolhe um token usando uma regra de decodificação.

Escolher sempre o token com maior pontuação é uma opção. Fazer amostragem entre vários tokens plausíveis é outra. A amostragem pode produzir respostas diferentes para o mesmo prompt, mesmo quando os pesos do modelo não mudam.

Depois que um token é escolhido, ele é anexado à sequência. O modelo calcula uma nova distribuição condicionada ao prompt e a tudo que foi gerado até o momento. A geração termina quando o modelo seleciona um token de parada, atinge um limite de saída ou é interrompida pelo software ao redor.

Um exemplo prático de geração

Suponha que o texto atual seja:

A capital da França é

Para fins de ilustração, imagine que um modelo atribua estas probabilidades a quatro possíveis tokens seguintes:

As possibilidades omitidas compartilham a probabilidade restante. Esses números são inventados para mostrar o mecanismo; não são medições de um modelo específico.

Se o sistema selecionar Paris, a sequência se tornará:

A capital da França é Paris

Agora o modelo avalia essa sequência mais longa. Os tokens seguintes plausíveis podem incluir pontuação ou palavras que deem continuidade à afirmação. Depois que um deles é selecionado, o loop se repete.

Três fatos úteis decorrem desse exemplo.

Primeiro, o modelo não precisa de um programa separado de “responder a perguntas”. Uma pergunta, um pedido de tradução, um exemplo de código e uma instrução de resumo podem ser representados como texto cuja continuação implica a tarefa.

Segundo, uma continuação de alta probabilidade não é o mesmo que um fato verificado. O objetivo de treinamento recompensa a adequação preditiva aos dados, não uma verificação direta em relação à realidade. Uma afirmação falsa pode ser uma continuação fluida.

Terceiro, a saída depende do caminho percorrido. Se um token improvável ou equivocado for selecionado, os tokens posteriores serão gerados no contexto dessa escolha. O modelo pode continuar de forma coerente a partir de uma premissa errada, em vez de voltar para corrigi-la.

Por que os LLMs conseguem realizar muitas tarefas

Um pré-treinamento amplo e variado expõe o modelo a muitas estruturas recorrentes. Entre elas estão perguntas seguidas de respostas, código seguido de comentários, afirmações seguidas de evidências e instruções seguidas de trabalhos concluídos. Aprender a prever essas estruturas produz representações que podem ser reutilizadas.

Um prompt também pode especificar uma tarefa no momento em que o modelo é usado. Você pode descrever o resultado desejado ou fornecer exemplos, e o modelo condiciona sua continuação a eles. Isso costuma ser chamado de aprendizado no contexto porque as informações sobre a tarefa são fornecidas na entrada, em vez de serem instaladas por uma nova rodada de atualizações dos pesos.

Assim, “prever o próximo token” pode parecer mais simples do que o comportamento que produz. O objetivo é simples. A função aprendida que o executa não é. O preenchimento automático comum e um LLM resolvem problemas de previsão relacionados, mas diferem muito em capacidade do modelo, uso do contexto, abrangência do treinamento e variedade de padrões que conseguem aplicar.

Por que os LLMs são importantes

Um único modelo pré-treinado pode oferecer suporte a redação, extração, classificação, tradução, sumarização, respostas a perguntas e geração de código por meio de alterações na entrada. Isso torna a linguagem uma interface flexível para software.

A mesma flexibilidade cria riscos. A saída de um LLM é gerada, não consultada em uma fonte autorizada. Os resultados podem estar errados, ser tendenciosos, inconsistentes ou sensíveis à formulação do prompt. A pergunta certa não é simplesmente se um LLM “conhece” um tópico. A confiabilidade depende da tarefa, do treinamento e do contexto fornecido, do método de decodificação e de quaisquer verificações realizadas pelo sistema ao redor.

Um LLM também é apenas uma camada de um produto de IA. Ele não tem automaticamente uma conta de usuário, memória persistente, acesso à web, documentos privados ou permissão para realizar ações. Esses recursos vêm do software ao redor do modelo.

Equívocos comuns

“Um LLM é um chatbot”

Um LLM é o modelo que processa ou gera linguagem. Um chatbot de IA é um produto que pode combinar um LLM com uma interface de conversa, instruções, recuperação de informações, moderação, memória e outros softwares. O mesmo LLM pode ser usado sem uma interface de chat.

“O modelo consulta a resposta”

Normalmente, o modelo calcula uma continuação a partir de seus pesos e do contexto atual. Um produto pode pesquisar separadamente na web ou recuperar documentos e inserir os resultados no prompt, mas isso é um recurso do harness de IA ao redor, não uma prova de que o próprio LLM realizou uma consulta.

“Uma linguagem fluente prova que o modelo entende”

Os pesquisadores não concordam com um único teste de compreensão. Um LLM pode demonstrar competência linguística útil e formar representações internas que dão suporte a tarefas complexas. Isso, por si só, não estabelece significado, experiência, intenção ou conexão com o mundo semelhantes aos humanos. É mais claro descrever o comportamento que está sendo medido do que usar “entende” como uma explicação geral.

“É apenas preenchimento automático, então não pode fazer nada novo”

Um LLM é um preditor autorregressivo, mas “apenas” oculta a parte importante: o que o modelo aprendeu e quanto contexto ele consegue usar como condição. Ele pode combinar padrões de maneiras que não estavam presentes como uma passagem completa em seus dados de treinamento. Uma saída inédita ainda não é evidência de que todas as afirmações nela estejam corretas.

“Grande tem um limite preciso”

Nenhuma definição oficial estabelece um número mínimo de parâmetros, tokens de treinamento ou unidades de computação. A fronteira entre um modelo de linguagem pequeno e um LLM muda conforme o uso e a tecnologia. Uma afirmação sobre tamanho só é significativa quando especifica a quantidade que está sendo comparada.

Como um LLM se encaixa em um sistema maior

Uma pilha básica se parece com isto:

1. O LLM mapeia o contexto para possíveis continuações linguísticas.
2. Um harness prepara o contexto, chama o modelo e pode conectá-lo a dados ou ferramentas.
3. Um chatbot apresenta esse sistema como uma conversa.
4. Um agente de IA adiciona um loop capaz de escolher ações, inspecionar resultados e continuar em direção a um objetivo.

Manter essas camadas separadas facilita avaliar as afirmações sobre um produto. “O assistente pesquisou na web” descreve o sistema inteiro. “O LLM gerou a consulta de pesquisa e interpretou o texto retornado” descreve o papel do modelo com mais precisão.

Próximos passos

Leia O que é um token em IA? para entender as unidades que um LLM processa. Em seguida, consulte O que é uma janela de contexto? para conhecer o limite das informações disponíveis durante uma geração, O que é treinamento em IA? para entender como os pesos do modelo são aprendidos e O que é inferência em IA? para saber o que acontece quando um modelo treinado é usado.