منذ إطلاقه في مارس، معيار ARC-AGI-3 أصبح الاختبار الذي تشير إليه مختبرات الذكاء الاصطناعي عندما تريد المجادلة بأن نماذجها قادرة على التعامل مع مهام غير مألوفة. يضع الاختبار نموذجًا داخل لعبة فيديو ثنائية الأبعاد صغيرة ولا يشرح شيئًا: لا قواعد، ولا عناصر تحكم، ولا هدفًا معلنًا. وعلى النموذج أن يضغط على الأشياء، ويراقب ما يتغير، ويستنتج ما الذي تريده اللعبة. عند الإطلاق، سجل كل نظام من الأنظمة الرائدة أقل من 1%.

يوم الجمعة الماضي تغيّر ترتيب الصدارة. سجل Claude Opus 5 من Anthropic نسبة موثقة بلغت 30.2% على ARC-AGI-3، أي ما يعادل تقريبًا أربعة أضعاف الرقم الموثق الأعلى السابق البالغ 7.8%، والذي كان قد حققه GPT-5.6 Sol من OpenAI. وقد أجرت ARC Prize Foundation، التي تبني المعيار وتديره، ذلك الاختبار بنفسها.

يوم الأربعاء نشرت OpenAI ردًا من نوع ما. ويجادل باحثوها بأن الأداء الضعيف لـ Sol كان في معظمه خطأ البرمجيات المحيطة بالنموذج أكثر منه خطأ في النموذج نفسه، وأنه مع تغيير إعدادين، سجل Sol نسبة 38.3% على الألعاب العامة الـ25.

يرتكز المنشور على جملة واحدة: "نادرًا ما تقيس المعايير نماذج الذكاء الاصطناعي في عزلة." وكان الافتراض السابق أن النتيجة تعود إلى النموذج، وبالتالي فإن الرقم المنخفض يعني أن النموذج لا يستطيع تنفيذ المهمة. أما ادعاء OpenAI فهو أن النتيجة تعود إلى النموذج إضافةً إلى كل جزء من الشيفرة المحيطة به، وأن الرقم المنخفض قد يعني بدلًا من ذلك أن الشيفرة المحيطة كانت تتخلص من عمل النموذج بين الحركات. وبالنسبة لأي شخص يقرأ لوحات الصدارة بوصفها مؤشرًا بديلًا على القدرات، فإن ذلك يغير دلالة الأرقام وما تثبته.

ما الذي كانت تفعله بيئة الاختبار

لهذا الغلاف اسم: بيئة الاختبار. وهي الشيفرة التي تقرر ما الذي يراه النموذج في كل دور، وما الذي يتذكره، وما الأدوات التي يمكنه الوصول إليها. وقد صُممت بيئة الاختبار الخاصة بـ ARC لتكون بسيطة عمدًا، انطلاقًا من فكرة أن الإعداد البسيط يكشف نقاط ضعف النموذج ويحافظ على عدالة المقارنات بين المختبرات.

وجدت OpenAI أمرين لم يعجباها. فالنماذج مثل Sol تولد استدلالًا خاصًا قبل كل إجراء، وهو في الأساس ملاحظات عمل حول سبب قيامها بشيء ما. وكانت بيئة الاختبار الخاصة بـ ARC تحذف تلك الملاحظات بعد كل حركة، بحيث يستطيع النموذج أن يرى أنه ضغط زرًا لكن لا يرى الفرضية التي كان ذلك الضغط يختبرها. وثانيًا، بمجرد أن يتجاوز السجل الجاري 175,000 حرف، كانت أقدم الإدخالات تُسقط، ما قد يمحو الاكتشاف المبكر الذي يفسر اللعبة كلها.

أعادت OpenAI بناء بيئة الاختبار بحيث تحتفظ بالاستدلال بين الحركات واستبدلت الحذف بـ تقنية تُسمى الدمج المكثف، وهي تضغط السجل القديم في حزمة مكثفة يحملها النموذج إلى مساحة عمل جديدة بدلًا من فقدان البداية. وارتفعت النتيجة من 13.3% إلى 38.3%. كما انخفضت رموز الإخراج، وهي وحدات النص التي يولدها النموذج والتي يدفع العملاء مقابلها، بنحو ستة أضعاف. ولم تُجرَ أي إعادة تدريب.

لماذا لا تُعد نسبة 38.3% رقمًا قياسيًا في لوحة الصدارة

هذا الرقم هو نتيجة تشغيل OpenAI لإعدادها الخاص والإبلاغ عن نتيجتها بنفسها. وسياسة الاختبار الموثقلدى ARC تستبعد بيئات الاختبار التي تعمل على جانب العميل، والأدوات المصممة يدويًا، وإعدادات النماذج المفصلة، وتوجه النتائج المدفوعة ببيئة الاختبار إلى لوحة صدارة مجتمعية منفصلة حيث تكون النتائج مُبلّغًا عنها ذاتيًا، وتحذر ARC صراحةً من التعامل معها بوصفها دليلًا على التقدم نحو الذكاء العام.

كما أن الألعاب العامة هي النصف الأسهل أيضًا. وفي المجموعة المحجوبة التي لا تستطيع النماذج دراستها مسبقًا، تنخفض النتيجة الموثقة لـ Sol من 13.33% إلى 7.78%. ولا أحد يعرف إلى ماذا ستتحول نسبة 38.3% تحت الاقتطاع نفسه.

وليست 38.3% أيضًا أعلى نسبة مُبلّغ عنها ذاتيًا لبيئة اختبار على تلك الألعاب. ففي وقت سابق من هذا الشهر أفاد فريق في Impossible Research بأن بيئة الاختبار الخاصة بهم Schema وصلت إلى نحو 99% على المجموعة العامة باستخدام Claude Opus 4.8 وFable 5، وإلى 95.35% باستخدام Sol. وكان رد Greg Kamradt، رئيس ARC Prize، العلني أن من الصعب الحكم على مقدار ما أُدخل من حل بشري للمشكلات في النظام من دون رؤية الشيفرة.

وهناك رقم آخر يستحق التمسك به. تقدر OpenAI أن متوسط نتيجة المختبِر البشري يبلغ 48% على هذه الألعاب. وحتى بعد التحسين، ما يزال تشغيلها المحسن أدنى من ذلك.

ويختتم المنشور بتوصية باستخدام Responses API من OpenAI بدلًا من واجهتها الأقدم، وهي حجة بيعية بقدر ما هي نتيجة. لكن النتيجة الأساسية تظل قائمة رغم ذلك: فنتيجة المعيار هي قياس لنظام كامل، ومعظم النتائج المنشورة لا تخبرك كيف جرى تجميع ذلك النظام. والرقم الذي ينبغي مراقبته ليس 38.3%. بل هو النتيجة التي يحققها الإعداد نفسه على ألعاب لم يرها من قبل.