Kimi K3, le modèle phare modèle développé par la start-up pékinoise Moonshot AI, a été lancé en juillet. Il s’agit à ce jour du plus grand modèle open-weight, avec 2,8 billions de paramètres et la capacité de traiter un million de tokens dans une seule requête (assez pour contenir l’intégralité d’un dépôt de code de taille moyenne).

Le modèle a reçu les éloges du secteur pour ses capacités. Les classements indépendants Frontend Code Arena et Artificial Analysis le placent aux côtés de Claude Fable et de GPT-5.6 Sol Max, le modèle ayant fait ses débuts respectivement à la première et à la troisième place de leurs classements.

En tant que modèle open-weight, K3 est disponible au téléchargement et peut être exécuté par n’importe qui au sein de son propre réseau. Jusqu’à présent, sa taille prohibitive de 1,56 téraoctet signifiait que peu de personnes pouvaient réellement le faire en pratique, même la version de 883 GB la plus fortement compressée dépassant largement les capacités des ordinateurs personnels.

Cependant, la situation a complètement changé ces dernières semaines. L’entreprise d’informatique cloud décentralisée dédiée à l’IA Pipe Network a publié un portage open source fin juillet, permettant à Kimi K3 de fonctionner sur certains ordinateurs de bureau équipés de puces Apple.

Le portage de Kimi K3 par Pipe réduit son empreinte mémoire de plus de 75 %

Les ingénieurs de Pipe Network ont réussi à réduire de 883 GB à 350 GB la mémoire nécessaire pour exécuter une version du modèle, la rendant compatible avec un Mac Studio doté de la configuration maximale, qui offre jusqu’à 512 GB de mémoire unifiée.

Ils y sont parvenus grâce à un système d’élagage qui rationalise le fonctionnement du modèle. K3 utilise une architecture d’apprentissage automatique Mixture-of-Experts (MoE), qui répartit les requêtes entre un ensemble d’« experts », c’est-à-dire essentiellement des sous-réseaux conçus pour des tâches spécifiques. K3 contient 93 couches, dont 92 contiennent 896 experts routés. Pour chaque token, le modèle ne sélectionne que 16 de ces experts pour effectuer le calcul. Jusqu’à 98 % d’entre eux sont donc inactifs pour un token donné.

Cependant, un déploiement classique doit tout de même garder l’ensemble des poids des experts disponibles en mémoire, car différents tokens peuvent être orientés vers différents experts — un processus très gourmand en mémoire, largement au-delà des capacités du matériel grand public. L’approche de Pipe réduit ce besoin en supprimant au préalable des centaines d’experts ayant un faible impact du modèle, produisant ainsi une version beaucoup plus petite qui peut tenir entièrement dans la mémoire unifiée d’un Mac Studio.

Cela réduit considérablement l’empreinte mémoire nécessaire sur les machines hôtes, ce qui permet à l’ensemble de fonctionner sur un seul Mac.

Le système REAP réduit à la fois les besoins en mémoire et les capacités du modèle

Pour déterminer quels experts conserver et lesquels supprimer pour une tâche donnée, le convertisseur utilise une technique appelée REAP (Router-weighted Expert Activation Pruning), développée par l’entreprise de calcul d’IA Cerebras. En faisant passer des textes d’exemple dans le modèle, ce système peut détecter quels experts ont l’impact le plus constant sur les résultats. Ceux qui sont rarement activés pour certains types de requêtes ou qui apportent rarement des changements significatifs sont retirés de la sélection.

Il est important de noter que le résultat final n’est pas exactement identique à l’exécution de la version complète de Kimi K3. Les textes d’exemple fournis au modèle adapté modifient les capacités du produit final, car ils déterminent quels experts sont supprimés et lesquels restent actifs.

Par exemple, une version calibrée uniquement sur des textes en anglais verra sa capacité à produire des résultats en chinois fortement dégradée, et inversement. Le convertisseur de Pipe Network réduit donc les capacités du modèle, qui devient spécialisé dans les domaines représentés dans les données de calibration. Le modèle parent conserve une plus grande polyvalence, en échange d’une empreinte mémoire bien plus importante.

Autre réserve : la vitesse de génération du modèle adapté. Chaque token d’entrée devant toujours être traité et orienté vers un expert, la puissance de calcul reste un facteur limitant majeur. Les adaptations de Pipe Network ont permis de réduire suffisamment le modèle pour qu’il puisse fonctionner sur un Mac, mais chaque token généré nécessite toujours la lecture d’environ 87 GB en mémoire. Avec une vitesse moyenne de 5,5 tokens par seconde, le K3 élagué peut traiter une phrase en environ six secondes — bien plus lentement que la plupart des modèles cloud, qui atteignent en moyenne plus d’une centaine de tokens par seconde.

Des degrés d’élagage plus ou moins importants ont peu d’effet sur ce point, car il s’agit d’une contrainte matérielle qui ne peut pas être contournée par une ingénierie logicielle astucieuse. Il faudra améliorer la bande passante mémoire des machines grand public pour combler cet écart.