A Moonshot AI disponibilizou os pesos do Kimi K3 online em 27 de julho, tornando o maior modelo aberto já lançado gratuito para download por qualquer pessoa. Trata-se de um sistema com 2,8 trilhões de parâmetros de uma startup de Pequim fundada em 2023; ele lê imagens e textos e aceita um milhão de tokens em uma única consulta, o suficiente para comportar uma base de código inteira de uma só vez.

O que fez o setor prestar atenção foi a posição que ele alcançou nos rankings. Rastreadores independentes colocam o K3 perto do topo absoluto do segmento, atrás apenas de Claude Fable e GPT-5.6 Sol Max no índice de inteligência da Artificial Analysis e em primeiro lugar no Frontend Code Arena, por uma fração do custo de operação. Pesos abertos significam que qualquer pessoa pode baixá-los, inspecioná-los, adaptá-los e mantê-los dentro da própria rede, algo que nenhum dos principais modelos fechados permite a qualquer preço. Essa foi a parte que deixou muita gente desconcertada na semana passada e é por isso que o lançamento foi interpretado como um movimento competitivo contra a OpenAI e a Anthropic, e não apenas como um marco de pesquisa.

Há uma ressalva que recebe menos atenção. Poder baixar não é o mesmo que poder rodar. Os arquivos somam 1,56 terabytes, o que, na prática, significa um rack com vários nós e GPUs de data center. Para quem não dispõe disso, os pesos abertos têm sido, em grande parte, uma formalidade técnica.

A Pipe Network publicou uma adaptação de código aberto que reduz essa distância, colocando uma versão funcional do K3 em um único desktop com Apple Silicon.

O obstáculo sempre foi a memória. Mesmo em sua forma mais compactada, o K3 precisa de aproximadamente 870 GB. O maior Mac existente, o M3 Ultra Mac Studio, chega a no máximo 512 GB de memória unificada. Não é uma diferença pequena.

Duas partes de engenharia resolvem o problema.

Transmitindo a conversão

Antes que um modelo possa rodar em um Mac, seus arquivos precisam ser reescritos no formato que o software de aprendizado de máquina da Apple consegue ler. As ferramentas padrão fazem isso carregando o modelo inteiro na memória, transformando-o e salvando-o novamente. Isso funciona para os modelos pequenos que as pessoas rodam em casa. Aqui, não funciona, porque o K3 em sua forma bruta ocupa 5,6 TB e nenhuma máquina à venda tem nem de longe tanta memória.

Um modelo não é um bloco sólido único. Ele é uma pilha de seções, e o K3 tem 93 delas, cada uma realizando uma parte do trabalho antes de passá-lo para a próxima. O conversor da adaptação tira proveito disso. Ele carrega uma seção, traduz, grava no disco, descarta e então passa à próxima. Em nenhum momento o conjunto inteiro precisa existir de uma só vez, portanto a máquina que executa o trabalho nunca precisa de mais que algumas dezenas de gigabytes de memória, em vez de milhares. É mais encanamento do que algo glamouroso, mas nada mais no projeto acontece sem isso.

Podando os especialistas que você não usa

A maior parte do K3 não está fazendo nada em um determinado momento, e isso é intencional. Em vez de uma enorme rede de propósito geral, ele foi construído como um painel de especialistas estreitos. Cada uma de suas 93 seções contém 896 deles, e um roteador seleciona os 16 mais adequados à palavra que está sendo processada. Os demais ficam de fora. Somando tudo, cerca de 98% do volume do modelo no disco corresponde a especialistas inativos a qualquer instante, todos ainda ocupando espaço.

Esses especialistas são chamados de experts, e o REAP, uma técnica da Cerebras, é uma forma de decidir quais manter. Ele executa no modelo uma amostra do tipo de texto que realmente interessa a você, observa quais experts fazem o trabalho pesado e descarta os que nunca justificam o espaço que ocupam. Aplicado ao K3, isso reduz 1,56 TB para 350 GB, o que cabe com folga em um Mac Studio.

O corpus é o produto

O resultado mais interessante no repositório é que o texto de amostra usado na calibração determina o que o modelo final consegue fazer.

A equipe mediu em quais experts diferentes tipos de conteúdo se apoiam. As línguas europeias se agrupam. O código se agrupa. Chinês e código quase não se sobrepõem, menos do que seria esperado pelo acaso.

As consequências aparecem na saída. Uma versão calibrada com inglês e código perde completamente o chinês e começa a se repetir. Uma versão calibrada apenas com chinês escreve em chinês com clareza e depois não consegue produzir código funcional. Uma versão calibrada com ambos preserva os dois. Você não está apenas compactando um modelo; está escolhendo quais de suas capacidades sobreviverão.

A equipe faz questão de observar que isso se baseia em um pequeno número de prompts de teste, e não em uma avaliação formal, e que uma versão anterior do mesmo experimento produziu uma conclusão que mais tarde se descobriu estar errada.

A ressalva honesta

O treinamento é o que ensina um modelo. A inferência é o que acontece toda vez que você usa um, o trabalho de transformar seu prompt em uma resposta, uma palavra por vez. Cada uma dessas palavras exige que a máquina percorra uma grande parte dos pesos do modelo, e é por isso que a velocidade de inferência depende principalmente da rapidez com que um computador consegue movimentar dados, e não de quão inteligente ele é.

A velocidade aqui é de 0,14 a 0,20 tokens por segundo. Uma única frase leva minutos. Cada palavra gerada exige a leitura de cerca de 87 GB da memória, portanto este é um limite de hardware, e não um bug de software; podar de forma mais agressiva não resolve o problema. Uma versão 100 GB menor rodou apenas ligeiramente mais rápido.

Essa é a verdadeira lição do projeto. Adaptar o modelo à máquina era algo que podia ser resolvido com software. Torná-lo utilizável não era, e isso demonstra com bastante precisão de quanto hardware um modelo desse tamanho ainda precisa antes que “local” se torne uma descrição significativa. Esta é uma ferramenta para processamento em lote, para tarefas que você inicia e às quais volta depois, não um chatbot. A largura de banda da memória em máquinas para consumidores continua aumentando, porém, e a base de software agora está pronta e pública para quando o hardware conseguir acompanhá-la.

Duas coisas funcionam bem. O componente de visão foi testado com o próprio código da Moonshot e corresponde dentro do erro de arredondamento, então as imagens funcionam de ponta a ponta. E os especialistas que sobreviveram são idênticos aos originais bit a bit, porque o formato de origem e o formato da Apple, por acaso, codificam os números da mesma maneira. A única informação perdida é a própria poda.

O repositório também é excepcionalmente direto sobre o que não foi testado. As versões completas, sem poda, nunca geraram um único token, porque não existe computador capaz de armazená-las.