Um modelo mental útil

Pense em uma rede neural como uma pilha de filtros ajustáveis.

Cada filtro recebe números da camada anterior. Ele atribui a cada número uma quantidade diferente de influência, adiciona um deslocamento e transforma o resultado. Uma camada envia seus números transformados para a camada seguinte. Depois de várias transformações desse tipo, a camada de saída produz uma previsão, uma pontuação ou um valor gerado.

O diagrama usual se parece com uma teia porque os valores fluem entre as unidades:

input values          hidden layer             output

x₁ ───────────────┐   h₁ ───────────────┐
                  ├──>                  ├──> score
x₂ ───────────────┘   h₂ ───────────────┘

        weighted sums      weighted sum
        + activation

Uma unidade costuma ser chamada de neurônio artificial. O nome é histórico. Em termos práticos, um neurônio é uma pequena função numérica. Sua semelhança com um neurônio biológico é limitada.

Esta representação simples mostra uma rede feedforward totalmente conectada, na qual as informações se movem da entrada para a saída e cada unidade se conecta a todas as unidades da camada seguinte. Nem todas as redes neurais usam exatamente essa estrutura de conexões. Algumas reutilizam o mesmo filtro pequeno em uma imagem, carregam estado ao longo de uma sequência ou permitem que partes da entrada interajam por meio de atenção. Elas ainda são redes neurais porque constroem uma computação treinável a partir de operações conectadas.

Como funciona uma rede neural

Para um neurônio típico, o cálculo é:

output = activation(w₁x₁ + w₂x₂ + ... + wₙxₙ + b)

Os valores de x são as entradas. Cada w é um peso que controla com que intensidade uma entrada afeta esse neurônio. O viés b desloca o resultado. A função de ativação então transforma esse resultado antes que ele continue pela rede.

Uma função de ativação comum é a unidade linear retificada, ou ReLU:

ReLU(x) = max(0, x)

A ReLU retorna zero para uma entrada negativa e mantém uma entrada positiva inalterada. Outras funções de ativação transformam os valores de outras maneiras.

A ativação não é um elemento meramente cosmético. Suponha que cada camada realize apenas multiplicações e adições. Duas camadas desse tipo sempre poderiam ser reescritas como uma única etapa de multiplicação e adição. Adicionar mais camadas não permitiria que a rede representasse uma relação não linear. As ativações não lineares entre as camadas impedem esse colapso e permitem que a rede construa formas mais variadas a partir de componentes simples.

Quando a rede recebe uma entrada, ela realiza uma passagem direta:

  1. A entrada é representada como números.
  2. Cada camada calcula novos números a partir da camada anterior.
  3. A camada de saída produz o resultado da rede.

Durante o treinamento, o resultado é comparado com o resultado desejado por meio de uma função de perda, que mede o erro. A retropropagação calcula de forma eficiente como uma pequena alteração em cada peso ou viés mudaria essa perda. Um otimizador então ajusta esses valores, e o processo se repete em muitos exemplos.

“Aprender” significa alterar esses números ajustáveis. O desenvolvedor escolhe a arquitetura geral e o processo de treinamento; o algoritmo de treinamento encontra os valores dos parâmetros.

Uma passagem direta feita à mão

Considere uma rede de exemplo que recebe dois sinais normalizados de uma transação com cartão:

  • x₁ = 0,8 para indicar o quão incomum é o valor
  • x₂ = 0,3 para indicar o quão desconhecido é o dispositivo

Esses valores são ilustrativos, não representam um modelo real de detecção de fraude. A rede tem duas unidades ocultas com ativações ReLU.

A primeira unidade oculta calcula:

h₁ = ReLU(1.0 × 0.8 − 1.0 × 0.3 − 0.2)
   = ReLU(0.3)
   = 0.3

A segunda calcula:

h₂ = ReLU(−0.5 × 0.8 + 0.5 × 0.3 + 0.1)
   = ReLU(−0.15)
   = 0

A unidade de saída combina os valores ocultos:

score = 1.5 × h₁ + 0.5 × h₂ − 0.4
      = 1.5 × 0.3 + 0.5 × 0 − 0.4
      = 0.05

Essa é uma passagem direta completa. Um classificador real poderia aplicar outra função para transformar sua pontuação bruta em uma probabilidade ou comparar a pontuação com um limiar de decisão.

Nenhum programador precisou escrever a regra específica representada por esses pesos. O treinamento os ajustaria a partir dos dados. Alterar até mesmo um peso poderia mudar quais unidades ocultas são ativadas e com que intensidade elas afetam o resultado.

É tentador chamar h₁ de “risco do valor” e h₂ de “risco do dispositivo”. O cálculo não justifica esses nomes. As unidades ocultas frequentemente participam de padrões que só fazem sentido em combinação, e seus significados podem não ser claramente interpretáveis por uma pessoa.

Por que as redes neurais são importantes

As redes neurais podem aprender representações intermediárias úteis, em vez de depender apenas de características especificadas previamente por uma pessoa. Em um sistema de imagens, os primeiros cálculos podem responder a padrões visuais locais, enquanto os cálculos posteriores os combinam. Em um sistema de linguagem, muitas camadas transformam representações de texto com base no contexto. O comportamento exato é aprendido em toda a rede, em vez de ser atribuído a um único neurônio nomeado de cada vez.

O formato flexível de suas funções torna as redes neurais úteis para imagens, linguagem, áudio, previsão, controle e geração. Isso não faz com que sejam automaticamente a melhor opção para todos os problemas. Um modelo mais simples pode ser mais barato, mais fácil de inspecionar e melhor quando há poucos dados ou quando a relação é direta.

Resultados matemáticos mostram que certas redes neurais podem aproximar classes amplas de funções quando recebem unidades ocultas suficientes. Isso é uma afirmação sobre o que uma rede pode representar. Não garante que um determinado conjunto de dados e uma execução de treinamento encontrarão uma boa função, evitarão memorizar os exemplos ou se comportarão de forma confiável com entradas desconhecidas.

Equívocos comuns

As redes neurais funcionam como cérebros

A terminologia foi inspirada na biologia, mas os neurônios artificiais omitem quase toda a estrutura e o comportamento dos neurônios biológicos. “Operação numérica ponderada” é um modelo mental mais confiável do que “célula cerebral digital”.

Cada neurônio decide se deve disparar

Alguns modelos antigos usavam limiares, e a ReLU transforma valores negativos em zero. Mas as unidades modernas geralmente produzem ativações numéricas, não decisões simples de sim ou não.

Mais camadas sempre tornam uma rede melhor

Uma profundidade maior altera o que uma rede pode representar e a eficiência com que pode representar certos padrões. Ela também pode tornar o modelo mais difícil ou mais caro de treinar. O desempenho depende da arquitetura, dos dados, do objetivo, da otimização e da avaliação — não apenas do número de camadas.

As camadas ocultas tornam automaticamente um modelo não linear

Uma pilha de camadas lineares continua sendo linear. A ativação não linear entre as camadas é o que impede que a pilha colapse em uma única transformação linear.

A rede descobre regras compreensíveis

Ela descobre valores de parâmetros que reduzem seu objetivo de treinamento. Esses valores podem sustentar um comportamento útil sem corresponder a uma regra curta que uma pessoa consiga ler. A interpretação exige evidências separadas.

Redes neurais e aprendizado profundo significam a mesma coisa

Aprendizado profundo geralmente se refere ao aprendizado de máquina com redes neurais que contêm várias camadas de processamento. Não existe um limite universal de número de camadas para definir o que é “profundo”, e as redes neurais também incluem modelos rasos.

Como as redes neurais se encaixam na IA

As redes neurais são uma família dentro do aprendizado de máquina. Uma arquitetura de rede neural especifica como os cálculos são organizados. O treinamento produz os pesos aprendidos do modelo, que fazem parte dos parâmetros do modelo. Executar a rede treinada em uma nova entrada é fazer inferência.

Muitos sistemas descritos como um modelo de IA usam redes neurais, mas os termos não são intercambiáveis. “Modelo de IA” é mais abrangente. Um transformer, por exemplo, é uma arquitetura de rede neural construída com atenção, operações feedforward, normalização e conexões que encaminham informações ao redor das camadas.

A ideia principal permanece a mesma nesses projetos: organizar cálculos diferenciáveis em uma estrutura útil e então aprender os valores ajustáveis a partir dos dados.

Para onde ir em seguida

Leia O que são os pesos do modelo? para separar as forças de conexão aprendidas pela rede de sua arquitetura. Leia O que são os parâmetros do modelo? para conhecer o conjunto mais amplo de valores ajustáveis e, em seguida, use Parâmetros do modelo versus pesos do modelo para comparar diretamente os termos. Para ver como as redes neurais geram linguagem, continue em O que é um LLM?.