Kimi K3, el modelo insignia desarrollado por la startup pequinesa Moonshot AI, se lanzó en julio. Es el modelo de pesos abiertos más grande hasta la fecha, con 2,8 billones de parámetros y la capacidad de procesar un millón de tokens en una sola consulta (suficiente para contener un repositorio de código de tamaño mediano completo).

El modelo ha recibido elogios de la industria por sus capacidades. Los evaluadores independientes Frontend Code Arena y Artificial Analysis lo sitúan junto a modelos como Claude Fable y GPT-5.6 Sol Max, y el modelo debutó en el primer y tercer puesto de sus respectivas clasificaciones.

Como modelo de pesos abiertos, K3 está disponible para que cualquiera lo descargue y lo ejecute en su propia red. Hasta ahora, su tamaño prohibitivamente grande, de 1,56 terabytes, significaba que pocos podían hacerlo realmente, y hasta la versión más comprimida, de 883 GB, estaba muy por encima de las capacidades de los ordenadores domésticos.

Sin embargo, todo esto ha cambiado en las últimas semanas. La empresa de computación en la nube descentralizada para IA Pipe Network publicó un port de código abierto a finales de julio que permite ejecutar Kimi K3 en ciertos ordenadores de sobremesa con Apple silicon.

El port de Kimi K3 de Pipe reduce su huella de memoria en más de un 75 %

Los ingenieros de Pipe Network lograron reducir de 883 GB a 350 GB la memoria necesaria para ejecutar una versión del modelo, lo que la sitúa dentro de las capacidades de un Mac Studio con la máxima configuración, que alcanza los 512 GB de memoria unificada.

Lo hicieron mediante un sistema de poda que simplifica el flujo de trabajo del modelo. K3 utiliza una arquitectura de aprendizaje automático de Mezcla de Expertos (MoE) que distribuye las consultas entre un conjunto de «expertos», esencialmente subredes diseñadas para tareas específicas. K3 contiene 93 capas, 92 de las cuales contienen 896 expertos enrutados. Para cada token, el modelo selecciona solo 16 de esos expertos para realizar el cálculo. Por lo tanto, hasta el 98 % de estos están inactivos para cualquier token determinado.

Sin embargo, una implementación normal sigue necesitando que todo el conjunto de pesos de los expertos esté disponible en la memoria, porque distintos tokens pueden enrutarse a expertos diferentes; se trata de un proceso que consume mucha memoria y supera con creces las capacidades del hardware de consumo. El enfoque de Pipe reduce esta exigencia al podar previamente cientos de expertos de bajo impacto del modelo, produciendo una versión mucho más pequeña que puede caber por completo en la memoria unificada de un Mac Studio.

Esto reduce considerablemente la huella de memoria de los equipos anfitriones, lo que significa que todo puede ejecutarse dentro de un solo Mac.

El sistema REAP reduce tanto las necesidades de memoria como las capacidades del modelo

Para decidir qué expertos conservar y cuáles descartar para una tarea concreta, el convertidor utiliza una técnica conocida como REAP (Router-weighted Expert Activation Pruning), desarrollada por la empresa de computación para IA Cerebras. Al procesar texto de muestra a través del modelo, este sistema puede detectar qué expertos tienen un impacto más constante en el resultado. Los que rara vez se activan para tipos específicos de consultas o que pocas veces producen cambios significativos se eliminan del conjunto.

Es importante señalar que el resultado final no es exactamente igual a ejecutar la versión completa de Kimi K3. El texto de muestra introducido en el modelo adaptado cambia las capacidades del producto final, ya que determina qué expertos se podan y cuáles se mantienen activos.

Por ejemplo, una versión calibrada únicamente con texto de muestra en inglés tendrá una capacidad muy degradada para devolver resultados en chino, y viceversa. Por tanto, el convertidor de Pipe Network limita las capacidades del modelo, que se especializa en los ámbitos representados en los datos de calibración. El modelo original sigue ofreciendo una mayor amplitud, a cambio de una huella de memoria mucho más grande.

Otra salvedad es la velocidad de generación del modelo adaptado. Como cada token de entrada aún debe procesarse y delegarse a un experto, la potencia de cálculo sigue siendo un factor limitante importante. Las adaptaciones de Pipe Network lograron podar el modelo para que pueda ejecutarse de forma viable en un Mac, pero cada token generado aún requiere leer aproximadamente 87 GB de la memoria. Con una velocidad media de 5,5 tokens por segundo, el K3 podado puede procesar una frase en unos seis segundos; es mucho más lento que la mayoría de los modelos basados en la nube, que alcanzan una media de más de cien tokens por segundo.

Un grado de poda mayor o menor tiene poco efecto en esto, ya que se trata de una limitación del hardware que no puede sortearse mediante una ingeniería de software ingeniosa. Para cerrar esa brecha se necesitan avances en el ancho de banda de memoria de los equipos de consumo.