Moonshot AI puso los pesos de Kimi K3 en línea el 27 de julio, haciendo que el mayor modelo abierto jamás lanzado sea gratuito para que cualquiera lo descargue. Es un sistema de 2,8 billones de parámetros de una startup de Pekín fundada en 2023, lee imágenes además de texto y acepta un millón de tokens en una sola consulta, suficiente para contener una base de código completa de una vez.

Lo que hizo que la industria prestara atención fue su posición en las clasificaciones. Rastreadores independientes sitúan a K3 cerca de la cima del sector, solo por detrás de Claude Fable y GPT-5.6 Sol Max en el índice de inteligencia de Artificial Analysis y en primer lugar en Frontend Code Arena, a una fracción del costo de ejecución. Que los pesos sean abiertos significa que cualquiera puede descargarlo, inspeccionarlo, adaptarlo y mantenerlo dentro de su propia red, algo que ninguno de los principales modelos cerrados permite a ningún precio. Esa es la parte que inquietó a mucha gente la semana pasada, y es por eso que el lanzamiento se ha interpretado como un movimiento competitivo contra OpenAI y Anthropic más que como un simple hito de investigación.

Hay una trampa que recibe menos atención. Que se pueda descargar no es lo mismo que se pueda ejecutar. Los archivos suman 1.56 terabytes, lo que en la práctica significa un rack multinodo de GPUs de centro de datos. Para cualquiera que no tenga eso, los pesos abiertos han sido sobre todo una tecnicidad.

Pipe Network ha publicado una adaptación de código abierto que reduce la brecha, llevando una versión funcional de K3 a una sola computadora de escritorio con Apple Silicon.

El obstáculo siempre fue la memoria. Incluso en su forma más comprimida, K3 necesita aproximadamente 870GB. La Mac más grande que existe, la Mac Studio M3 Ultra, alcanza un máximo de 512GB de memoria unificada. No es un caso de quedarse cerca.

Dos piezas de ingeniería lo hacen posible.

Transmitir la conversión en flujo

Antes de que un modelo pueda ejecutarse en una Mac, sus archivos tienen que reescribirse en el formato que entiende el software de aprendizaje automático de Apple. Las herramientas estándar hacen eso cargando el modelo completo en memoria, cambiándolo y luego guardándolo de nuevo. Eso funciona para los modelos pequeños que la gente ejecuta en casa. Aquí no puede funcionar, porque K3 en su forma bruta ocupa 5.6TB y ninguna máquina a la venta tiene ni de lejos tanta memoria.

Un modelo no es un solo bloque sólido. Es una pila de secciones, y K3 tiene 93 de ellas, cada una haciendo una parte del trabajo antes de pasar a la siguiente. El convertidor de la adaptación aprovecha eso. Carga una sección, la traduce, la escribe en disco, la descarta y luego pasa a la siguiente. En ningún momento hace falta que exista todo a la vez, así que la máquina que realiza el trabajo nunca necesita más que unas pocas decenas de gigabytes de memoria en lugar de miles. Es más una cuestión de plomería que algo glamuroso, pero nada más del proyecto ocurre sin ello.

Podar los expertos que no usas

La mayor parte de K3 no está haciendo nada en un momento dado, y eso es intencional. En lugar de una sola red enorme de propósito general, está construido como un panel de especialistas estrechos. Cada una de sus 93 secciones contiene 896 de ellos, y un enrutador elige los 16 más adecuados para la palabra que se está procesando. El resto se queda fuera. Si se suma todo, aproximadamente el 98% del volumen del modelo en disco son especialistas que están inactivos en cualquier instante, y todos siguen ocupando espacio.

A estos especialistas se les llama expertos, y REAP, una técnica de Cerebras, es una forma de decidir cuáles conservar. Ejecuta a través del modelo una muestra del tipo de texto que realmente te importa, observa qué expertos hacen el trabajo pesado y descarta a los que nunca justifican el espacio que ocupan. Aplicado a K3, eso reduce 1.56TB a 350GB, lo que cabe dentro de una Mac Studio con espacio de sobra.

El corpus es el producto

El resultado más interesante en el repo es que el texto de muestra con el que calibras determina lo que el modelo final puede hacer.

El equipo midió de qué expertos dependen distintos tipos de contenido. Los idiomas europeos se agrupan entre sí. El código se agrupa entre sí. El chino y el código casi no se superponen en absoluto, menos de lo que cabría esperar por azar.

Las consecuencias aparecen en la salida. Una compilación calibrada con inglés y código pierde por completo el chino y empieza a repetirse. Una compilación calibrada solo con chino escribe chino limpio y luego no logra producir código funcional. Una compilación calibrada con ambos conserva ambos. No solo estás comprimiendo un modelo, estás eligiendo cuáles de sus capacidades sobreviven.

El equipo se cuida de señalar que esto se basa en un pequeño número de prompts de prueba en lugar de una evaluación formal, y que una versión anterior del mismo experimento produjo una conclusión que más tarde descubrieron que era errónea.

La salvedad honesta

El entrenamiento es lo que enseña a un modelo. La inferencia es lo que ocurre cada vez que usas uno: el trabajo de convertir tu prompt en una respuesta, una palabra a la vez. Cada una de esas palabras requiere que la máquina recorra una gran parte de los pesos del modelo, por lo que la velocidad de inferencia es sobre todo una cuestión de cuán rápido una computadora puede mover datos, más que de cuán ingeniosa sea.

La velocidad aquí es de 0.14 a 0.20 tokens por segundo. Una sola frase toma minutos. Cada palabra generada requiere leer unos 87GB desde la memoria, así que esto es un límite del hardware más que un error de software, y podar de forma más agresiva no lo soluciona. Una compilación 100GB más pequeña apenas funcionó más rápido.

Esa es la verdadera lección del proyecto. Ajustar el modelo a la máquina se pudo resolver con software. Hacerlo utilizable no lo fue, y demuestra con bastante precisión cuánto hardware sigue exigiendo un modelo de este tamaño antes de que "local" se convierta en una descripción significativa. Esta es una herramienta por lotes para trabajos que pones en marcha y a los que vuelves más tarde, no un chatbot. Sin embargo, el ancho de banda de memoria en las máquinas de consumo sigue aumentando, y la base de software ya está hecha y es pública para cuando se ponga al día.

Hay dos cosas que sí funcionan limpiamente. El componente de visión se probó con el propio código de Moonshot y coincide dentro del margen de error por redondeo, así que las imágenes funcionan de extremo a extremo. Y los expertos que sobreviven son idénticos bit por bit a los originales, porque el formato de origen y el formato de Apple codifican los números de la misma manera. La única información que se pierde es la propia poda.

El repo también es inusualmente directo sobre lo que no se ha probado. Las versiones completas sin podar nunca han generado ni un solo token, porque no existe ninguna computadora que pueda alojarlas.