A Moonshot AI colocou os pesos do Kimi K3 online em 27 de julho, tornando gratuito para qualquer pessoa baixar o maior modelo aberto já lançado. É um sistema de 2,8 trilhões de parâmetros de uma startup de Pequim fundada em 2023, lê imagens além de texto e aceita um milhão de tokens em uma única consulta, o suficiente para conter uma base de código inteira de uma vez.

O que fez a indústria prestar atenção foi sua posição nos rankings. Rastreadores independentes colocam o K3 muito perto do topo do setor, atrás apenas de Claude Fable e GPT-5.6 Sol Max no índice de inteligência da Artificial Analysis e em primeiro lugar na Frontend Code Arena, por uma fração do custo de execução. Pesos abertos significam que qualquer pessoa pode baixá-lo, inspecioná-lo, adaptá-lo e mantê-lo dentro da própria rede, algo que nenhum dos principais modelos fechados permite a qualquer preço. Essa foi a parte que incomodou muita gente na semana passada, e é por isso que o lançamento foi interpretado como um movimento competitivo contra OpenAI e Anthropic, e não apenas como um marco de pesquisa.

Há um porém que recebe menos atenção. Baixável não é o mesmo que executável. Os arquivos somam 1,56 terabytes, o que, na prática, significa um rack multinó de GPUs de datacenter. Para quem não tem isso, pesos abertos têm sido em grande parte uma tecnicalidade.

A Pipe Network publicou uma porta open source que reduz essa distância, colocando uma versão funcional do K3 em um único desktop com Apple Silicon.

O obstáculo sempre foi a memória. Mesmo em sua forma mais comprimida, o K3 precisa de cerca de 870GB. O maior Mac que existe, o Mac Studio M3 Ultra, chega no máximo a 512GB de memória unificada. Isso não é passar perto.

Duas soluções de engenharia resolvem isso.

Transmitindo a conversão em fluxo

Antes que um modelo possa rodar em um Mac, seus arquivos precisam ser reescritos no formato que o software de aprendizado de máquina da Apple lê. As ferramentas padrão fazem isso carregando o modelo inteiro na memória, alterando-o e depois salvando-o novamente. Isso funciona para os modelos pequenos que as pessoas executam em casa. Aqui, não pode funcionar, porque o K3 em sua forma bruta tem 5,6TB e nenhuma máquina à venda tem nem de longe tanta memória.

Um modelo não é um único bloco sólido. É uma pilha de seções, e o K3 tem 93 delas, cada uma fazendo uma parte do trabalho antes de passar para a seguinte. O conversor da porta tira proveito disso. Ele carrega uma seção, traduz, grava em disco, descarta e então passa para a próxima. Em nenhum momento o conjunto inteiro precisa existir de uma vez, então a máquina que faz o trabalho nunca precisa de mais do que algumas dezenas de gigabytes de memória em vez de milhares. É infraestrutura, não algo glamouroso, mas nada mais no projeto acontece sem isso.

Podando especialistas que você não usa

A maior parte do K3 não está fazendo nada em um dado momento, e isso é intencional. Em vez de uma única rede enorme de propósito geral, ele foi construído como um painel de especialistas restritos. Cada uma de suas 93 seções contém 896 deles, e um roteador escolhe os 16 mais adequados à palavra que está sendo processada. Os demais ficam de fora. Somando tudo, cerca de 98% do volume do modelo em disco são especialistas que ficam ociosos em qualquer instante, todos ainda ocupando espaço.

Esses especialistas são chamados de experts, e REAP, uma técnica da Cerebras, é uma forma de decidir quais manter. Ela executa no modelo uma amostra do tipo de texto com o qual você realmente se importa, observa quais experts fazem o trabalho pesado e descarta os que nunca justificam o espaço que ocupam. Aplicado ao K3, isso reduz 1,56TB para 350GB, o que cabe dentro de um Mac Studio com folga.

O corpus é o produto

O resultado mais interessante no repositório é que o texto de amostra usado na calibração determina o que o modelo final consegue fazer.

A equipe mediu de quais experts diferentes tipos de conteúdo dependem. As línguas europeias se agrupam. Código se agrupa. Chinês e código quase não se sobrepõem, menos do que se esperaria pelo acaso.

As consequências aparecem na saída. Uma build calibrada em inglês e código perde completamente o chinês e começa a se repetir. Uma build calibrada apenas em chinês escreve chinês corretamente e depois falha em produzir código funcional. Uma build calibrada em ambos preserva os dois. Você não está apenas comprimindo um modelo, está escolhendo quais capacidades dele sobrevivem.

A equipe faz questão de observar que isso se baseia em um pequeno número de prompts de teste, e não em uma avaliação formal, e que uma versão anterior do mesmo experimento produziu uma conclusão que depois descobriram estar errada.

A ressalva honesta

Treinamento é o que ensina um modelo. Inferência é o que acontece toda vez que você usa um, o trabalho de transformar seu prompt em uma resposta, uma palavra de cada vez. Cada uma dessas palavras exige que a máquina percorra uma grande parte dos pesos do modelo, e é por isso que a velocidade de inferência é, em grande parte, uma questão de quão rápido um computador consegue movimentar dados, e não de quão inteligente ele é.

A velocidade aqui é de 0,14 a 0,20 tokens por segundo. Uma única frase leva minutos. Cada palavra gerada exige ler cerca de 87GB da memória, então isso é um teto de hardware, e não um bug de software, e podar de forma mais agressiva não resolve. Uma build 100GB menor rodou apenas um pouco mais rápido.

Essa é a verdadeira lição do projeto. Fazer o modelo caber na máquina foi algo solucionável com software. Torná-lo utilizável não foi, e isso demonstra com bastante precisão quanto hardware um modelo desse tamanho ainda exige antes que "local" se torne uma descrição significativa. Esta é uma ferramenta em lote para tarefas que você inicia e às quais volta depois, não um chatbot. A largura de banda de memória em máquinas de consumo continua aumentando, porém a base de software agora está pronta e pública para quando o hardware alcançar isso.

Duas coisas funcionam de forma limpa. O componente de visão foi testado em relação ao próprio código da Moonshot e corresponde dentro da margem de erro de arredondamento, então as imagens funcionam de ponta a ponta. E os experts sobreviventes são idênticos bit a bit aos originais, porque o formato de origem e o formato da Apple por acaso codificam números da mesma maneira. A única informação perdida é a própria poda.

O repositório também é incomumente direto sobre o que não foi testado. As versões completas sem poda nunca geraram um único token, porque não existe computador capaz de armazená-las.