أتاحت Moonshot AI أوزان Kimi K3 عبر الإنترنت في 27 يوليو، ما جعل أكبر نموذج مفتوح يُطلَق على الإطلاق متاحًا للتنزيل مجانًا لأي شخص. وهو نظام يضم 2.8 تريليون معلمة من شركة ناشئة في بكين تأسست عام 2023، ويقرأ الصور والنصوص على حد سواء، ويقبل مليون رمز في الاستعلام الواحد، بما يكفي لاستيعاب قاعدة شيفرة كاملة دفعة واحدة.

ما دفع القطاع إلى الانتباه هو موقعه على لوائح الصدارة. تضعه جهات التتبع المستقلة قرب قمة المجال، ولا يسبقه سوى Claude Fable وGPT-5.6 Sol Max على مؤشر الذكاء في Artificial Analysis، كما يحتل المركز الأول في Frontend Code Arena، وبتكلفة تشغيل تمثل جزءًا صغيرًا من تكلفة النماذج الأخرى. تعني الأوزان المفتوحة أن بإمكان أي شخص تنزيل النموذج وفحصه وتكييفه والإبقاء عليه داخل شبكته الخاصة، وهو ما لا تسمح به أي من النماذج المغلقة الرائدة مهما كان السعر. وهذا هو الجانب الذي أقلق كثيرًا من الناس الأسبوع الماضي، والسبب في قراءة هذا الإطلاق باعتباره تحركًا تنافسيًا ضد OpenAI وAnthropic، لا مجرد إنجاز بحثي.

لكن هناك جانبًا لا يحظى بالقدر نفسه من الاهتمام. فإمكانية التنزيل لا تعني قابلية التشغيل. يبلغ حجم الملفات 1.56 تيرابايت، ما يعني عمليًا خزانة متعددة العقد من وحدات معالجة الرسوميات في مراكز البيانات. وبالنسبة إلى من لا يملك ذلك، كانت الأوزان المفتوحة في معظمها مجرد مسألة نظرية.

نشرت Pipe Network نقلًا مفتوح المصدر يضيّق الفجوة، إذ يضع نسخة عاملة من K3 على جهاز مكتبي واحد مزود بـ Apple Silicon.

كانت العقبة دائمًا هي الذاكرة. حتى في أكثر أشكاله ضغطًا، يحتاج K3 إلى نحو 870GB. أما أكبر جهاز Mac موجود، وهو M3 Ultra Mac Studio، فلا تتجاوز ذاكرته الموحدة 512GB. وهذا ليس فرقًا بسيطًا.

تسد قطعتان من العمل الهندسي هذه الفجوة.

بث عملية التحويل

قبل أن يتمكن أي نموذج من العمل على جهاز Mac أصلًا، يجب إعادة كتابة ملفاته بالصيغة التي تقرأها برمجيات التعلم الآلي من Apple. وتنجز الأدوات القياسية ذلك عبر تحميل النموذج كاملًا إلى الذاكرة، وتغييره، ثم حفظه من جديد. وينجح هذا مع النماذج الصغيرة التي يشغّلها الناس في منازلهم. لكنه لا يمكن أن ينجح هنا، لأن حجم K3 بصيغته الخام يبلغ 5.6TB، ولا توجد أي آلة معروضة للبيع تملك ذاكرة تقترب من هذا الحجم.

النموذج ليس كتلة صلبة واحدة. بل هو رزمة من الأقسام، ويضم K3 عددًا منها يبلغ 93 قسمًا، يؤدي كل منها جزءًا من العمل قبل تسليمه إلى القسم التالي. ويستفيد محوّل النقل من هذه البنية. فهو يحمّل قسمًا واحدًا، ويترجمه، ويكتبه على القرص، ثم يتخلص منه، وينتقل إلى القسم التالي. ولا يحتاج النظام بأكمله في أي لحظة إلى الوجود دفعة واحدة، لذلك لا تحتاج الآلة التي تنفذ العملية إلى أكثر من بضع عشرات من الغيغابايتات من الذاكرة، بدلًا من آلافها. إنها أعمال ربط وتشغيل أكثر منها شيئًا براقًا، لكن لا شيء آخر في المشروع يمكن أن يحدث من دونها.

تقليص عدد الخبراء الذين لا تستخدمهم

لا ينفذ معظم K3 أي شيء في لحظة معينة، وهذا مقصود. فبدلًا من شبكة عامة هائلة، بُني النموذج على هيئة مجموعة من المتخصصين الضيقين. ويضم كل قسم من أقسامه الـ93 عددًا قدره 896 منهم، بينما يختار موجّه 16 متخصصًا هم الأنسب للكلمة قيد المعالجة. أما الباقون فيبقون خارج العملية. وبحساب ذلك، يتضح أن نحو 98% من حجم النموذج على القرص عبارة عن متخصصين غير نشطين في أي لحظة، مع استمرار شغلهم مساحة تخزينية.

يُطلق على هؤلاء المتخصصين اسم الخبراء، وتوفر REAP، وهي تقنية من Cerebras، طريقة لتحديد الخبراء الذين ينبغي الإبقاء عليهم. إذ تمرر عينة من نوع النص الذي يهمك فعليًا عبر النموذج، وتراقب الخبراء الذين يؤدون الجزء الأكبر من العمل، ثم تتخلص من الخبراء الذين لا يبررون المساحة التي يشغلونها. وعند تطبيقها على K3، تخفض الحجم من 1.56TB إلى 350GB، وهو ما يتسع له جهاز Mac Studio مع مساحة إضافية.

البيانات المستخدمة هي المنتج

أكثر النتائج إثارة للاهتمام في المستودع هي أن النصوص العينة التي تُعاير النموذج عليها تحدد ما يستطيع النموذج النهائي فعله.

قاس الفريق الخبراء الذين تعتمد عليهم أنواع المحتوى المختلفة. وتتجمع اللغات الأوروبية معًا. ويتجمع الكود معًا. أما الصينية والكود فلا يتداخلان إلا قليلًا، وبدرجة أقل مما قد تتوقعه من الصدفة العشوائية.

وتظهر العواقب في المخرجات. فالنسخة التي تُعاير على الإنجليزية والكود تفقد الصينية تمامًا وتبدأ في تكرار نفسها. والنسخة التي تُعاير على الصينية فقط تكتب صينية سليمة، ثم تفشل في إنتاج كود عملي. أما النسخة التي تُعاير على كليهما فتحافظ على الاثنين. أنت لا تضغط النموذج فحسب، بل تختار أيضًا أيًا من قدراته سيبقى.

ويحرص الفريق على الإشارة إلى أن هذه النتيجة تستند إلى عدد صغير من المطالبات الاختبارية، لا إلى تقييم رسمي، كما أن نسخة سابقة من التجربة نفسها أفضت إلى استنتاج تبين لاحقًا أنه خاطئ.

التحفظ الصريح

التدريب هو ما يعلّم النموذج. أما الاستدلال فهو ما يحدث في كل مرة تستخدم فيها نموذجًا، أي عملية تحويل مطالبتك إلى إجابة، كلمة تلو الأخرى. وتتطلب كل كلمة من هذه الكلمات أن تمر الآلة عبر جزء كبير من أوزان النموذج، ولهذا فإن سرعة الاستدلال تعتمد في الغالب على مدى سرعة نقل الكمبيوتر للبيانات، لا على مدى ذكائه.

تتراوح السرعة هنا بين 0.14 و0.20 رمزًا في الثانية. وتستغرق جملة واحدة دقائق. إذ تتطلب كل كلمة مولّدة قراءة نحو 87GB من الذاكرة، لذا يمثل هذا سقفًا تفرضه العتاد لا خللًا برمجيًا، كما أن تقليص النموذج بدرجة أكبر لا يعالج المشكلة. وقد عملت نسخة أصغر بـ100GB بسرعة أعلى بالكاد.

هذا هو الدرس الحقيقي للمشروع. كان تكييف النموذج للعمل على الجهاز أمراً قابلاً للحل برمجياً. أما جعله قابلاً للاستخدام فلم يكن كذلك، وهو يوضح بدقة إلى حد كبير مقدار العتاد الذي لا يزال نموذج بهذا الحجم يتطلبه قبل أن تصبح كلمة «محلي» وصفاً ذا معنى. هذه أداة للمعالجة الدفعية للمهام التي تشغّلها ثم تعود إليها لاحقاً، وليست روبوت دردشة. ومع ذلك، يواصل نطاق ترددي للذاكرة على الأجهزة الاستهلاكية الارتفاع، وقد أُنجزت الآن الأسس البرمجية وأصبحت متاحة للعامة، بانتظار أن تلحق بها الأجهزة.

هناك أمران يعملان بسلاسة. فقد اختُبر مكوّن الرؤية مقابل شفرة Moonshot نفسها، وهو يطابقها ضمن هامش خطأ التقريب، لذا تعمل الصور من البداية إلى النهاية. كما أن الخبراء المتبقين مطابقون للأصول بتةً بتةً، لأن تنسيق المصدر وتنسيق Apple يصادف أنهما يشفّران الأرقام بالطريقة نفسها. والمعلومة الوحيدة المفقودة هي عملية التقليم نفسها.

كما أن المستودع مباشر على نحو غير معتاد بشأن ما لم يُختبر. فالنسخ الكاملة غير المُقَلَّمة لم تُنتج رمزاً واحداً قط، لأنه لا يوجد حاسوب قادر على استيعابها.