Kimi K3は、フラッグシップのモデルで、北京のスタートアップMoonshot AIが開発し、7月に公開された。現時点で最大のオープンウェイトモデルであり、2.8兆パラメーターを備え、1回のクエリで100万トークンを処理できる（中規模のコードリポジトリ全体を保持できる量）。

このモデルは、その能力によって業界から高い評価を得ている。独立系トラッカーのFrontend Code ArenaとArtificial Analysisは、Claude FableやGPT-5.6 Sol Maxと並ぶモデルとして評価しており、それぞれのリーダーボードで初登場時に1位と3位にランクインした。

オープンウェイトモデルであるK3は、誰でもダウンロードして自分のネットワーク内で実行できる。これまでは、1.56テラバイトという途方もなく大きなサイズのため、実際に実行できる人はほとんどいなかった。最も強く圧縮した883GB版でさえ、一般家庭のコンピューターの能力をはるかに超えていた。

しかし、ここ数週間で状況は一変した。分散型AIクラウドコンピューティング企業のPipe Networkがオープンソースの移植版を公開し、7月末には、特定のAppleシリコン搭載デスクトップでKimi K3を実行できるようにした。

PipeのKimi K3移植版はメモリフットプリントを75%以上削減

Pipe Networkのエンジニアは、モデルの実行に必要なメモリを883GBから350GBまで削減した。これにより、最大512GBのユニファイドメモリを搭載できる最上位仕様のMac Studioで実行可能になった。

これは、モデルの処理の流れを効率化する一連のプルーニングによって実現した。K3はMixture-of-Experts（MoE）という機械学習アーキテクチャを採用しており、「エキスパート」と呼ばれる複数のサブネットワークにクエリを振り分ける。各エキスパートは、特定のタスク向けに設計されている。K3は93層で構成され、そのうち92層には896個のルーティング対象エキスパートが含まれる。モデルは各トークンについて、そのうち16個のエキスパートだけを選択して計算を実行する。そのため、任意のトークンに対して最大98%がアイドル状態になる。

しかし通常のデプロイでは、トークンごとに異なるエキスパートへルーティングされる可能性があるため、すべてのエキスパートの重みをメモリ上に用意しておく必要がある。これは非常にメモリを消費する処理であり、コンシューマー向けハードウェアの能力をはるかに超えている。Pipeの手法では、影響の小さいエキスパートを事前に数百個プルーニングすることでこの要件を軽減し、Mac Studioのユニファイドメモリ内に完全に収まる、はるかに小さなバージョンを生成する。

これによりホストマシンのメモリフットプリントが大幅に縮小し、全体を1台のMac内で実行できるようになる。

REAPシステムはメモリ要件とモデルの能力をともに削減する

特定のタスクでどのエキスパートを残し、どれを破棄するかを決めるため、コンバーターはAIコンピューティング企業Cerebrasが開発したREAP（Router-weighted Expert Activation Pruning）と呼ばれる手法を使う。サンプルテキストをモデルに通すことで、このシステムは出力に最も一貫した影響を与えるエキスパートを検出できる。特定のクエリタイプでほとんど活性化されないものや、意味のある変化をほとんど生じさせないものは、構成から削除される。

ただし、最終的な結果はKimi K3の完全版を実行した場合とまったく同じではない点に注意が必要だ。適応後のモデルに入力するサンプルテキストによって、最終製品の能力が変わる。これは、どのエキスパートをプルーニングし、どれをアクティブな状態で残すかがサンプルテキストによって決まるためだ。

たとえば、英語のみのサンプルテキストで調整したビルドでは、中国語で結果を返す能力が大幅に低下し、その逆も同様だ。そのためPipe Networkのコンバーターはモデルの能力を狭め、調整データに含まれる分野に特化させる。元のモデルは、はるかに大きなメモリフットプリントと引き換えに、より広範な能力を依然として備えている。

もう一つの注意点は、適応後のモデルの出力速度だ。入力の各トークンは引き続き処理され、エキスパートに振り分けられるため、処理能力が依然として大きな制約となる。Pipe Networkの適応版は、Mac上で現実的に実行できるまでモデルをプルーニングできたが、出力の各トークンでは依然としてメモリから約87GBを読み出す必要がある。平均5.5トークン/秒で動作するため、プルーニングされたK3が1文を処理するにはおよそ6秒かかる。これは、平均で毎秒100トークンを超える大半のクラウドベースモデルよりはるかに遅い。

プルーニングの度合いを強めたり弱めたりしても、この点への影響はほとんどない。これは巧妙なソフトウェアエンジニアリングでは回避できないハードウェア上の制約だからだ。この差を縮めるには、コンシューマー向けマシンのメモリ帯域幅の向上が必要になる。