Moonshot AI는 7월 27일 Kimi K3의 가중치를 온라인에 공개하며, 지금까지 공개된 오픈 모델 가운데 최대 규모 모델을 누구나 무료로 내려받을 수 있게 했다. 이는 2023년에 설립된 베이징 스타트업이 만든 2.8조 파라미터 시스템으로, 텍스트뿐 아니라 이미지도 읽을 수 있고, 단일 쿼리에서 100만 토큰을 받아들여 전체 코드베이스를 한 번에 담을 수 있을 정도다.

업계의 이목을 끈 것은 리더보드에서의 위치였다. 독립 추적 기관들은 Artificial Analysis의 intelligence index에서 K3를 Claude Fable과 GPT-5.6 Sol Max에 이어 최상위권으로 평가했고, Frontend Code Arena에서는 1위에 올려놓았으며, 운영 비용은 그보다 훨씬 낮은 수준이다. 오픈 가중치라는 것은 누구나 이를 내려받고, 들여다보고, 수정하고, 자체 네트워크 내부에 보관할 수 있다는 뜻이며, 이는 어떤 가격에서도 선두권 비공개 모델들이 허용하지 않는 부분이다. 지난주 많은 이들을 불안하게 만든 것도 바로 이 지점이었고, 그래서 이번 공개는 단순한 연구 성과라기보다 OpenAI와 Anthropic을 겨냥한 경쟁적 행보로 읽혔다.

덜 주목받는 함정도 있다. 내려받을 수 있다는 것과 실행할 수 있다는 것은 같지 않다. 파일 크기는 1.56TB에 달하며, 이는 현실적으로 데이터센터 GPU 여러 대를 묶은 멀티노드 랙을 뜻한다. 그런 장비가 없는 사람들에게 오픈 가중치는 대체로 형식적인 의미에 그쳐 왔다.

Pipe Network는 오픈소스 포트를 공개해 이 격차를 좁히며, K3의 작동 가능한 버전을 단일 Apple Silicon 데스크톱에 올렸다.

장애물은 언제나 메모리였다. 가장 많이 압축한 형태에서도 K3에는 약 870GB가 필요하다. 현재 존재하는 가장 큰 Mac인 M3 Ultra Mac Studio도 통합 메모리가 최대 512GB다. 근소한 차이라고 볼 수는 없다.

두 가지 엔지니어링이 그 간극을 메운다.

변환 스트리밍

모델이 Mac에서 아예 실행되려면, 먼저 파일을 Apple의 머신러닝 소프트웨어가 읽는 형식으로 다시 써야 한다. 표준 도구들은 전체 모델을 메모리에 올린 뒤 형식을 바꾸고 다시 저장하는 방식으로 이를 처리한다. 이는 사람들이 집에서 돌리는 소형 모델에는 통한다. 하지만 여기서는 불가능하다. K3는 원본 형태로 5.6TB에 이르고, 판매 중인 어떤 기계도 그에 근접한 메모리를 갖고 있지 않기 때문이다.

모델은 하나의 거대한 단일 블록이 아니다. 여러 구간이 층층이 쌓인 구조이며, K3에는 이런 구간이 93개 있고 각각이 작업 일부를 수행한 뒤 다음 구간으로 넘긴다. 이 포트의 변환기는 이 점을 활용한다. 한 구간을 불러와 변환하고, 디스크에 기록한 뒤 버리고, 다음 구간으로 넘어간다. 따라서 전체를 한꺼번에 존재하게 할 필요가 없고, 작업을 수행하는 기계도 수천 GB가 아니라 수십 GB 정도의 메모리만 있으면 된다. 화려한 기술이라기보다 배관 작업에 가깝지만, 이것 없이는 프로젝트의 다른 어떤 부분도 진행될 수 없다.

사용하지 않는 전문가 가지치기

K3의 대부분은 특정 순간에는 아무 일도 하지 않으며, 이는 설계된 방식이다. 하나의 거대한 범용 네트워크 대신, 더 좁은 전문 기능을 가진 패널 형태로 구축됐다. 93개 구간 각각에는 이런 전문가가 896개씩 들어 있고, 라우터가 처리 중인 단어에 가장 적합한 16개를 고른다. 나머지는 빠진다. 모두 합치면 디스크에서 모델 용량의 약 98%는 어느 순간이든 유휴 상태인 전문가들이며, 이들 모두는 여전히 공간을 차지한다.

이 전문 모듈들은 전문가라고 불리며, Cerebras의 기술인 REAP는 무엇을 남길지 결정하는 방법이다. 실제로 중요하게 여기는 종류의 텍스트 샘플을 모델에 통과시키고, 어떤 전문가가 핵심 작업을 수행하는지 지켜본 뒤, 자기 몫을 해내지 못하는 것들을 버린다. 이를 K3에 적용하면 1.56TB가 350GB로 줄어들어, 여유 공간까지 남기며 Mac Studio 안에 들어간다.

코퍼스가 곧 제품

이 저장소에서 가장 흥미로운 결과는 보정에 사용하는 샘플 텍스트가 완성된 모델이 무엇을 할 수 있는지를 결정한다는 점이다.

팀은 서로 다른 종류의 콘텐츠가 어떤 전문가에 의존하는지 측정했다. 유럽 언어들은 서로 군집을 이룬다. 코드는 코드끼리 군집을 이룬다. 중국어와 코드는 거의 겹치지 않는데, 무작위 확률로 예상되는 수준보다도 더 적다.

그 결과는 출력에서 드러난다. 영어와 코드로 보정한 빌드는 중국어 능력을 완전히 잃고 반복을 시작한다. 중국어만으로 보정한 빌드는 자연스러운 중국어를 쓰지만 작동하는 코드를 만들어내지 못한다. 둘 다로 보정한 빌드는 두 능력을 모두 유지한다. 이는 단순히 모델을 압축하는 것이 아니라, 그 능력 가운데 무엇을 살아남게 할지 선택하는 일이다.

팀은 이것이 정식 평가가 아니라 소수의 테스트 프롬프트에 기반한 결과임을 신중하게 밝히고 있으며, 같은 실험의 이전 버전에서는 나중에 잘못된 결론이었다는 점을 확인한 바 있다고 덧붙였다.

솔직한 주의사항

학습은 모델을 가르치는 과정이다. 추론은 모델을 사용할 때마다 일어나는 일로, 프롬프트를 한 단어씩 답으로 바꾸는 작업이다. 이렇게 생성되는 각 단어마다 기계는 모델 가중치의 상당 부분을 훑어야 하며, 그래서 추론 속도는 대체로 컴퓨터가 얼마나 영리한가보다 데이터를 얼마나 빨리 옮길 수 있는가의 문제다.

여기서 속도는 초당 0.14~0.20토큰이다. 문장 하나에도 몇 분이 걸린다. 생성되는 단어마다 메모리에서 약 87GB를 읽어야 하므로, 이는 소프트웨어 버그가 아니라 하드웨어 한계이며, 가지치기를 더 공격적으로 한다고 해결되지도 않는다. 100GB 더 작은 빌드도 속도는 거의 더 빨라지지 않았다.

그것이 이 프로젝트의 진짜 교훈이다. 모델을 기기에 맞춰 올리는 일은 소프트웨어로 해결할 수 있었다. 하지만 이를 사용 가능하게 만드는 일은 그렇지 않았고, 이는 "로컬"이 의미 있는 설명이 되기 전에 이 크기의 모델이 여전히 얼마나 많은 하드웨어를 요구하는지를 꽤 정확하게 보여준다. 이것은 챗봇이 아니라, 실행해 두고 나중에 돌아와 확인하는 작업을 위한 배치 도구다. 다만 소비자용 기기의 메모리 대역폭은 계속 증가하고 있고, 이를 따라잡는 순간을 대비한 소프트웨어 기반 작업은 이제 완료되어 공개된 상태다.

깔끔하게 작동하는 두 가지가 있다. 비전 구성요소는 Moonshot 자체 코드와 대조해 테스트됐고 반올림 오차 범위 내에서 일치하므로, 이미지는 처음부터 끝까지 작동한다. 그리고 살아남은 전문가는 원본과 비트 단위까지 동일한데, 이는 소스 포맷과 Apple의 포맷이 우연히 같은 방식으로 숫자를 인코딩하기 때문이다. 손실된 유일한 정보는 가지치기 자체뿐이다.

이 저장소는 무엇이 테스트되지 않았는지에 대해서도 유난히 직설적이다. 가지치기하지 않은 전체 버전은 이를 담아낼 수 있는 컴퓨터가 존재하지 않기 때문에 지금까지 단 한 개의 토큰도 생성한 적이 없다.