Modelos y arquitectura

Qué es realmente un modelo: familias, parámetros, pesos, transformers y mezcla de expertos, y qué implican esas decisiones en la práctica.

Aprender

Modelos y arquitectura

ComparaciónParámetros del modelo frente a pesos del modeloLos parámetros del modelo son todos los valores ajustados que determinan el comportamiento de un modelo; los pesos del modelo son un tipo de parámetro o un nombre informal para el conjunto de valores aprendidos del modelo. En una ecuación de capa, «peso» suele tener el significado más limitado. En una frase como «descarga los pesos del modelo», suele tener el significado más amplio.
Concepto¿Qué es un LLM?Un modelo de lenguaje grande (LLM) es un modelo de IA entrenado con grandes colecciones de datos lingüísticos para procesar o generar secuencias de texto probables. La mayoría de los LLM utilizados para generar texto reciben un prompt y producen una respuesta de una pequeña pieza a la vez.
Concepto¿Qué es un modelo de IA?Un modelo de IA es la parte de un sistema de IA que transforma una entrada en una salida, como una predicción, clasificación, recomendación, acción o resultado generado. En el uso actual, normalmente se refiere a un modelo de aprendizaje automático cuyo comportamiento fue moldeado por datos de entrenamiento.
Concepto¿Qué es un modelo fundacional?Un modelo fundacional es un modelo de aprendizaje automático entrenado con datos amplios para poder adaptarse a muchas tareas diferentes, en lugar de estar diseñado para una sola. Es un punto de partida reutilizable, no una aplicación terminada.
Concepto¿Qué es una red neuronal?Una red neuronal es un modelo de aprendizaje automático que aprende a convertir números de entrada en números de salida útiles al pasarlos por capas conectadas de cálculos simples. Esas capas forman una única función matemática entrenable, no un cerebro electrónico literal.
Concepto¿Qué son los parámetros del modelo?Los parámetros del modelo son los valores numéricos almacenados dentro de un modelo ajustado que determinan cómo transforma una entrada en una salida. En una red neuronal, normalmente incluyen pesos y sesgos cuyos valores se eligen durante el entrenamiento y se reutilizan cuando el modelo realiza predicciones.
Concepto¿Qué son los pesos del modelo?Los pesos del modelo son números aprendidos que determinan con qué intensidad un modelo utiliza cada entrada o señal intermedia al calcular una salida. Normalmente se almacenan en grandes grupos llamados matrices o tensores, y el entrenamiento los modifica para que las salidas del modelo se ajusten mejor a su objetivo.