Modelos e arquitetura

O que um modelo realmente é: famílias, parâmetros, pesos, transformers e mistura de especialistas, e o que essas escolhas significam na prática.

Aprender

Modelos e arquitetura

ConceitoO que são os pesos do modelo?Os pesos do modelo são números aprendidos que determinam com que intensidade um modelo usa cada entrada ou sinal intermediário ao calcular uma saída. Eles geralmente são armazenados em grandes grupos chamados matrizes ou tensores, e o treinamento os modifica para que as saídas do modelo se ajustem melhor ao seu objetivo.
ConceitoO que são parâmetros do modelo?Os parâmetros do modelo são os valores numéricos armazenados dentro de um modelo ajustado que determinam como ele transforma uma entrada em uma saída. Em uma rede neural, eles geralmente incluem pesos e vieses, cujos valores são escolhidos durante o treinamento e reutilizados quando o modelo faz previsões.
ConceitoO que é um LLM?Um modelo de linguagem de grande escala (LLM) é um modelo de IA treinado com grandes coleções de dados linguísticos para processar ou gerar sequências prováveis de texto. A maioria dos LLMs usados para geração de texto recebe um prompt e produz uma resposta uma pequena parte por vez.
ConceitoO que é um modelo de IA?Um modelo de IA é a parte de um sistema de IA que transforma uma entrada em uma saída, como uma previsão, classificação, recomendação, ação ou resultado gerado. No uso atual mais comum, o termo significa um modelo de aprendizado de máquina cujo comportamento foi moldado por dados de treinamento.
ConceitoO que é um modelo de fundação?Um modelo de fundação é um modelo de aprendizado de máquina treinado com dados amplos para que possa ser adaptado a muitas tarefas diferentes, em vez de ser desenvolvido para apenas uma. Ele é um ponto de partida reutilizável, não uma aplicação pronta.
ConceitoO que é uma rede neural?Uma rede neural é um modelo de aprendizado de máquina que aprende a transformar números de entrada em números de saída úteis, passando-os por camadas conectadas de cálculos simples. Essas camadas formam uma única função matemática treinável, não um cérebro eletrônico literal.
ComparaçãoParâmetros do modelo vs. pesos do modeloOs parâmetros do modelo são todos os valores ajustados que determinam o comportamento de um modelo; os pesos do modelo são um tipo de parâmetro ou um nome informal para o conjunto dos valores aprendidos pelo modelo. Em uma equação de camada, “peso” geralmente tem o significado mais restrito. Em uma expressão como “baixe os pesos do modelo”, geralmente tem o significado mais amplo.