역대 최대 규모의 오픈 웨이트 AI 모델이 이제 단일 Mac에서 실행된다

Beijing의 스타트업 Moonshot AI가 개발한 주력 모델인 Kimi K3가 7월에 출시됐다. 이 모델은 현재까지 가장 큰 오픈 웨이트 모델로, 2.8조 개의 매개변수와 단일 쿼리에서 100만 개의 토큰을 처리할 수 있는 능력을 갖췄다(중간 규모의 코드 저장소 전체를 담을 수 있는 수준이다).

이 모델은 성능으로 업계의 찬사를 받았다. 독립 평가 기관 Frontend Code Arena와 Artificial Analysis는 Kimi K3를 Claude Fable 및 GPT-5.6 Sol Max와 같은 수준으로 평가하며, 각자의 순위표에서 출시 직후 각각 1위와 3위에 올려놓았다.

오픈 웨이트 모델인 K3는 누구나 다운로드해 자체 네트워크에서 실행할 수 있다. 하지만 이전에는 크기가 1.56TB에 달해 실제로 이를 실행할 수 있는 사람이 거의 없었다. 가장 강력하게 압축한 883GB 버전조차 가정용 컴퓨터의 성능을 훨씬 넘어섰기 때문이다.

그러나 최근 몇 주 사이 모든 것이 바뀌었다. 탈중앙화 AI 클라우드 컴퓨팅 기업 Pipe Network가 오픈 소스 포트를 공개했으며 이는 7월 말에 공개된 것으로, 특정 Apple 실리콘 데스크톱에서 Kimi K3를 실행할 수 있게 한다.

Pipe Network의 Kimi K3 포트는 메모리 사용량을 75% 이상 줄인다

Pipe Network 엔지니어들은 모델 버전을 실행하는 데 필요한 메모리를 883GB에서 350GB로 줄였다. 이에 따라 최대 사양에서 통합 메모리가 512GB에 이르는 Mac Studio에서도 실행할 수 있게 됐다.

이들은 모델의 작업 흐름을 간소화하는 일련의 가지치기 과정을 통해 이를 구현했다. K3는 쿼리를 여러 “전문가”에 분배하는 Mixture-of-Experts(MoE) 머신러닝 아키텍처를 사용한다. 각 전문가는 특정 작업을 위해 설계된 사실상의 하위 네트워크다. K3는 93개 레이어로 구성되며, 이 중 92개 레이어에는 라우팅되는 전문가가 896개씩 포함돼 있다. 모델은 각 토큰에 대해 이 전문가 중 16개만 선택해 계산을 수행한다. 따라서 특정 토큰에 대해서는 최대 98%의 전문가가 유휴 상태가 된다.

그러나 일반적인 배포 방식에서는 토큰마다 서로 다른 전문가로 라우팅될 수 있기 때문에 전체 전문가 가중치를 메모리에 사용할 수 있어야 한다. 이는 소비자용 하드웨어의 성능을 훨씬 넘어서는 매우 메모리 집약적인 과정이다. Pipe의 접근 방식은 모델에서 영향이 적은 전문가 수백 개를 사전에 제거해 이러한 요구 사항을 줄인다. 그 결과 Mac Studio의 통합 메모리 안에 완전히 들어갈 수 있는 훨씬 작은 버전이 만들어진다.

이로 인해 호스트 시스템의 메모리 사용량이 크게 줄어들며, 전체 모델을 단일 Mac에서 실행할 수 있게 된다.

REAP 시스템은 메모리 요구 사항과 모델 성능을 모두 줄인다

특정 작업에서 어떤 전문가를 유지하고 어떤 전문가를 버릴지 결정하기 위해 변환기는 AI 컴퓨팅 기업 Cerebras가 개발한 REAP(Router-weighted Expert Activation Pruning)라는 기법을 사용한다. 이 시스템은 샘플 텍스트를 모델에 입력해 어떤 전문가가 출력에 가장 일관된 영향을 미치는지 감지할 수 있다. 특정 쿼리 유형에서 거의 활성화되지 않거나 의미 있는 변화를 거의 일으키지 않는 전문가는 목록에서 제거된다.

다만 최종 결과가 Kimi K3의 전체 버전을 실행하는 것과 완전히 같지는 않다는 점에 유의해야 한다. 조정된 모델에 입력하는 샘플 텍스트가 최종 제품의 성능을 바꾸기 때문이다. 샘플 텍스트에 따라 어떤 전문가를 가지치기하고 어떤 전문가를 활성 상태로 유지할지가 결정된다.

예를 들어 순수한 영어 샘플 텍스트를 기준으로 조정한 빌드는 중국어로 결과를 반환하는 능력이 크게 저하되며, 그 반대도 마찬가지다. 따라서 Pipe Network의 변환기는 모델의 기능 범위를 좁히고, 모델을 조정 데이터에 포함된 영역에 특화한다. 기본 모델은 훨씬 큰 메모리 사용량을 감수하는 대신 더 폭넓은 기능을 제공한다.

또 다른 문제는 조정된 모델의 출력 속도다. 입력된 각 토큰을 여전히 처리해 전문가에게 전달해야 하므로 연산 능력은 여전히 주요 제약 요인이다. Pipe Network의 조정 버전은 Mac에서 실행할 수 있을 정도로 모델을 줄이는 데 성공했지만, 출력 토큰 하나를 생성할 때마다 여전히 메모리에서 약 87GB를 읽어야 한다. 가지치기된 K3는 초당 평균 5.5토큰의 속도로 실행되므로 문장 하나를 처리하는 데 약 6초가 걸린다. 이는 초당 100토큰이 넘는 평균 속도를 내는 대부분의 클라우드 기반 모델보다 훨씬 느리다.

가지치기 정도를 늘리거나 줄여도 이 문제에는 거의 영향을 미치지 않는다. 영리한 소프트웨어 엔지니어링으로 우회할 수 없는 하드웨어 제약이기 때문이다. 이 격차를 줄이려면 소비자용 기기의 메모리 대역폭이 향상돼야 한다.