O Kimi K3, modelo carro-chefe desenvolvido pela startup de Pequim Moonshot AI, entrou em operação em julho. É o maior modelo de pesos abertos até o momento, com 2,8 trilhões de parâmetros e capacidade de processar um milhão de tokens em uma única consulta (o suficiente para comportar um repositório de código inteiro de tamanho médio).

O modelo recebeu elogios do setor por seus recursos. Os rastreadores independentes Frontend Code Arena e Artificial Analysis o colocam entre modelos como Claude Fable e GPT-5.6 Sol Max, com o modelo estreando em primeiro e terceiro lugar em seus respectivos rankings.

Como modelo de pesos abertos, o K3 está disponível para qualquer pessoa baixar e executar em sua própria rede. Antes, seu tamanho proibitivamente grande, de 1,56 terabyte, significava que poucas pessoas conseguiam fazer isso na prática; até mesmo a versão de 883 GB com a maior compressão ainda estava muito além das capacidades dos computadores domésticos.

No entanto, tudo isso mudou nas últimas semanas. A empresa de computação em nuvem descentralizada para IA Pipe Network publicou uma adaptação de código aberto no fim de julho que permite executar o Kimi K3 em determinados desktops com Apple silicon.

A adaptação do Kimi K3 da Pipe reduz em mais de 75% sua ocupação de memória

Os engenheiros da Pipe conseguiram reduzir de 883 GB para 350 GB a memória necessária para executar uma versão do modelo, colocando-a dentro das capacidades de um Mac Studio em sua configuração máxima, que chega a 512 GB de memória unificada.

Eles fizeram isso por meio de um sistema de poda que simplifica o fluxo de trabalho do modelo. O K3 usa uma arquitetura de aprendizado de máquina Mixture-of-Experts (MoE), que distribui as consultas entre um conjunto de “especialistas”, essencialmente sub-redes projetadas para tarefas específicas. O K3 contém 93 camadas, 92 das quais têm 896 especialistas roteados. Para cada token, o modelo seleciona apenas 16 desses especialistas para realizar o cálculo. Portanto, até 98% deles ficam ociosos para qualquer token.

No entanto, uma implantação normal ainda precisa manter na memória o conjunto completo de pesos dos especialistas, porque tokens diferentes podem ser direcionados para especialistas diferentes — um processo que consome muita memória e está muito além das capacidades de hardware para consumidores. A abordagem da Pipe reduz essa exigência ao eliminar previamente centenas de especialistas de baixo impacto do modelo, produzindo uma versão muito menor que cabe inteiramente na memória unificada de um Mac Studio.

Isso reduz consideravelmente a ocupação de memória das máquinas hospedeiras, o que significa que tudo pode ser executado em um único Mac.

O sistema REAP reduz tanto os requisitos de memória quanto os recursos do modelo

Para decidir quais especialistas manter e quais descartar para uma determinada tarefa, o conversor usa uma técnica conhecida como REAP (Router-weighted Expert Activation Pruning), desenvolvida pela empresa de computação para IA Cerebras. Ao executar textos de amostra pelo modelo, o sistema consegue detectar quais especialistas têm o impacto mais consistente sobre a saída. Aqueles que são raramente ativados para tipos específicos de consulta ou que poucas vezes produzem mudanças relevantes são eliminados.

É importante observar que o resultado final não é exatamente igual à execução da versão completa do Kimi K3. O texto de amostra inserido no modelo adaptado altera os recursos do produto final, pois determina quais especialistas serão eliminados e quais permanecerão ativos.

Por exemplo, uma versão calibrada exclusivamente com textos de amostra em inglês terá uma capacidade bastante reduzida de fornecer resultados em chinês, e vice-versa. Por isso, o conversor da Pipe Network restringe os recursos do modelo, que se torna especializado nos domínios representados nos dados de calibração. O modelo original ainda oferece maior amplitude, em troca de uma ocupação de memória muito maior.

Outra ressalva é a velocidade da saída do modelo adaptado. Como cada token de entrada ainda precisa ser processado e encaminhado a um especialista, o poder de processamento continua sendo um fator limitante importante. As adaptações da Pipe Network conseguiram reduzir o modelo a ponto de ele poder ser executado de forma viável em um Mac, mas cada token de saída ainda exige a leitura de aproximadamente 87 GB da memória. Operando a uma média de 5,5 tokens por segundo, o K3 podado consegue processar uma frase em cerca de seis segundos — muito mais lentamente do que a maioria dos modelos baseados em nuvem, que alcança uma média superior a cem tokens por segundo.

Graus maiores ou menores de poda têm pouco efeito sobre isso, pois trata-se de uma limitação de hardware que não pode ser contornada com engenharia de software inteligente. São necessários avanços na largura de banda da memória de máquinas para consumidores para que essa diferença diminua.