أُطلق Kimi K3، وهو نموذج الذكاء الاصطناعي الرائد الذي طوّرته شركة Moonshot AI الناشئة في بكين، في يوليو. وهو أكبر نموذج ذي أوزان مفتوحة حتى الآن، إذ يضم 2.8 تريليون مُعامل، ويتمتع بالقدرة على معالجة مليون رمز في استعلام واحد (ما يكفي لاستيعاب مستودع شيفرة برمجية كامل متوسط الحجم).

حظي النموذج بإشادة القطاع بفضل قدراته. وتصنّفه جهتا التتبع المستقلتان Frontend Code Arena وArtificial Analysis ضمن نماذج مثل Claude Fable وGPT-5.6 Sol Max، إذ ظهر النموذج عند المركزين الأول والثالث في لوحتي المتصدرين الخاصتين بهما، على التوالي.

وباعتباره نموذجًا ذا أوزان مفتوحة، يتاح K3 لأي شخص لتنزيله وتشغيله داخل شبكته الخاصة. وفي السابق، كان حجمه الهائل البالغ 1.56 تيرابايت يعني أن عددًا قليلًا فقط يستطيع فعل ذلك عمليًا، إذ ظلت حتى نسخة 883GB الأكثر ضغطًا تتجاوز بكثير إمكانات أجهزة الكمبيوتر المنزلية.

لكن كل ذلك تغيّر خلال الأسابيع الأخيرة. فقد نشرت شركة Pipe Network للبيئات السحابية اللامركزية للذكاء الاصطناعي منفذًا مفتوح المصدر في نهاية يوليو، يتيح تشغيل Kimi K3 على أجهزة سطح مكتب محددة من Apple Silicon.

يقلّص منفذ Kimi K3 من Pipe Network احتياجه إلى الذاكرة بأكثر من 75%

تمكّن مهندسو Pipe Network من تقليص الذاكرة المطلوبة لتشغيل نسخة من النموذج من 883GB إلى 350GB، ما جعلها ضمن إمكانات Mac Studio بأعلى مواصفات، الذي تصل سعته القصوى إلى 512GB من الذاكرة الموحدة.

وقد فعلوا ذلك من خلال نظام لتقليم النموذج يبسّط سير عمله. يستخدم K3 بنية تعلّم آلي قائمة على مزيج الخبراء (MoE)، توزّع الاستعلامات على مجموعة من «الخبراء»، وهم في الأساس شبكات فرعية مصممة لمهام محددة. يضم K3 عددًا من 93 طبقة، تحتوي 92 منها على 896 خبيرًا موجّهًا. ولكل رمز، يختار النموذج 16 خبيرًا فقط من هؤلاء لتنفيذ الحسابات. ولذلك يظل ما يصل إلى 98% منهم في وضع الخمول لكل رمز محدد.

لكن النشر العادي لا يزال يحتاج إلى إتاحة المجموعة الكاملة من أوزان الخبراء في الذاكرة، لأن الرموز المختلفة قد تُوجَّه إلى خبراء مختلفين، وهي عملية كثيفة استهلاك الذاكرة بدرجة تتجاوز بكثير إمكانات العتاد الاستهلاكي. ويقلّل نهج Pipe هذا الاحتياج من خلال تقليم مئات الخبراء منخفضي التأثير من النموذج مسبقًا، لإنتاج نسخة أصغر بكثير يمكن أن تتسع بالكامل في الذاكرة الموحدة لجهاز Mac Studio.

ويؤدي ذلك إلى خفض كبير في البصمة الذاكرية للأجهزة المضيفة، ما يعني إمكانية تشغيل المنظومة بأكملها داخل جهاز Mac واحد.

يقلّص نظام REAP متطلبات الذاكرة وقدرات النموذج معًا

لتحديد الخبراء الذين ينبغي الإبقاء عليهم وأولئك الذين ينبغي التخلص منهم لمهمة معينة، يستخدم المحوّل تقنية تُعرف باسم REAP (تقليم تفعيل الخبراء الموزون بأوزان الموجّه)، طوّرتها شركة Cerebras المتخصصة في حوسبة الذكاء الاصطناعي. ومن خلال تمرير نصوص نموذجية عبر النموذج، يستطيع هذا النظام اكتشاف الخبراء الأكثر تأثيرًا بانتظام في المخرجات. أما الخبراء الذين نادرًا ما يُفعّلون لأنواع معينة من الاستعلامات، أو الذين قلّما يُحدثون تغييرات مؤثرة، فيُحذفون من التشكيلة.

من المهم الإشارة إلى أن النتيجة النهائية لا تطابق تمامًا تشغيل النسخة الكاملة من Kimi K3. فالنصوص النموذجية التي تُمرَّر إلى النموذج المعدّل تغيّر قدرات المنتج النهائي، لأنها تحدد الخبراء الذين سيُقلَّمون وأولئك الذين سيبقون نشطين.

فعلى سبيل المثال، ستتراجع بشدة قدرة نسخة عُيّرت باستخدام نصوص نموذجية باللغة الإنجليزية فقط على تقديم نتائج بالصينية، والعكس صحيح. ولذلك يضيّق محوّل Pipe Network قدرات النموذج، الذي يصبح متخصصًا في المجالات الممثلة في بيانات المعايرة. ولا يزال النموذج الأصلي يتمتع بنطاق أوسع، مقابل بصمة ذاكرة أكبر بكثير.

وثمة تحفظ آخر يتعلق بسرعة مخرجات النموذج المعدّل. فبما أن كل رمز إدخال لا يزال بحاجة إلى المعالجة والتوجيه إلى خبير، تظل القدرة الحاسوبية عاملًا مقيدًا رئيسيًا. ونجحت تعديلات Pipe Network في تقليص النموذج بحيث يمكن تشغيله عمليًا على جهاز Mac، لكن كل رمز مخرجات لا يزال يتطلب قراءة نحو 87GB من الذاكرة. وبمعدل تشغيل يبلغ 5.5 رموز في الثانية، يستطيع K3 المُقلَّم معالجة جملة واحدة في نحو ست ثوانٍ، أي أبطأ بكثير من معظم النماذج السحابية التي يبلغ متوسطها أكثر من مئة رمز في الثانية.

ولا تؤثر درجات التقليم الأكبر أو الأصغر كثيرًا في ذلك، لأنه قيد عتادي لا يمكن التحايل عليه باستخدام هندسة برمجية مبتكرة. ويلزم إحراز تقدم في عرض نطاق الذاكرة للأجهزة الاستهلاكية حتى تضيق هذه الفجوة.