Tokens, contexto y representación

Cómo un modelo lee y retiene texto: tokens, ventanas de contexto, embeddings y fechas de corte de conocimiento, explicado para quienes usan herramientas de IA.

Aprender

Tokens, contexto y representación

ComparaciónTokens de entrada vs. salida vs. razonamientoLos tokens de entrada son lo que recibe un modelo, los tokens de salida son lo que genera y los tokens de razonamiento son tokens generados internamente que utiliza para avanzar hacia una respuesta. El detalle importante es que los tokens de razonamiento suelen formar parte del uso de salida, aunque una API los muestre como un detalle separado.
ComparaciónVentana de contexto frente a fecha de corte del conocimientoUna ventana de contexto limita cuánta información puede usar un modelo de IA en una solicitud, mientras que una fecha de corte del conocimiento indica cuán reciente es su conocimiento incorporado. Una es una capacidad medida en tokens; la otra es una fecha asociada con el entrenamiento.
Concepto¿Qué es la fecha límite de conocimiento de una IA?La fecha límite de conocimiento de una IA es la fecha hasta la que se espera que el conocimiento incorporado de un modelo refleje sus datos de entrenamiento. Es un límite aproximado, no una garantía de que el modelo conozca todos los hechos anteriores ni de que un producto de IA no pueda obtener información posterior.
Concepto¿Qué es un token en IA?Un token en IA es un elemento del vocabulario que un LLM utiliza para representar y generar texto. Según el tokenizador del modelo, un token puede corresponder a una palabra, parte de una palabra, un signo de puntuación, un espacio en blanco o incluso parte de un carácter codificado.
Concepto¿Qué es una ventana de contexto?Una ventana de contexto es la cantidad máxima de material tokenizado que un modelo de IA puede usar mientras produce una respuesta. En muchas API de modelos de lenguaje, ese presupuesto abarca la entrada y la salida generada, aunque los proveedores también pueden imponer límites independientes para la entrada o la salida.
Concepto¿Qué son los tokens de entrada?Los tokens de entrada son los tokens que un modelo recibe y procesa antes de empezar a generar la siguiente respuesta. Provienen de la solicitud completa dirigida al modelo, no solo de las últimas palabras que escribiste.
Concepto¿Qué son los tokens de razonamiento?Los tokens de razonamiento son tokens que un modelo de IA genera mientras trabaja para llegar a una respuesta, separados del texto de respuesta que ves. Representan pasos generados adicionales, como planificar, comprobar o probar un enfoque, y pueden contabilizarse para el uso y los límites aunque el servicio los oculte.
Concepto¿Qué son los tokens de salida?Los tokens de salida son las unidades que genera un modelo al producir una respuesta. Normalmente forman el texto, el código, los datos estructurados o las instrucciones de herramientas que recibes, aunque un proveedor también puede contabilizar el razonamiento oculto como parte del uso de salida.