إطار ARC-AGI-3، الذي يختبر قدرة نماذج الذكاء الاصطناعي على التكيف مع البيئات والمعلومات غير المألوفة، أصبح الآن المعيار المرجعي الأساسي لتقييم الاستدلال السياقي لدى نماذج الذكاء الاصطناعي. ويجري ذلك عبر مطالبة النموذج بتعلّم سلسلة من ألعاب الفيديو البسيطة وإكمالها من دون أي معرفة مسبقة. ويتعين على النماذج اختبار المدخلات، ومعالجة الملاحظات الإيجابية والسلبية، واستنتاج أهداف اللعبة، ثم محاولة تحقيقها في نهاية المطاف.
رغم إحراز تقدم كبير في أنواع أخرى من الاستدلال السياقي، ظلت نماذج الذكاء الاصطناعي ضعيفة للغاية في نوع المهام الذي يفرضه ARC-AGI-3. وعندما أُطلق المعيار في مارس، سجل كل نظام رائد درجات أقل من 1%.
ارتفعت هذه النسبة منذ ذلك الحين تدريجيًا، إذ تمكن GPT-5.6 Sol من OpenAI من تسجيل درجة بلغت 7.8% في وقت لاحق من العام، قبل أن تحطم شركة Anthropic المنافسة هذا الرقم هذا الأسبوع. وفي الجمعة الماضية، حقق Claude Opus 5 درجة بلغت 30.2%، ليتصدر لوحة المتصدرين بفارق كبير. وقد أجرت الاختبار مؤسسة ARC Prize Foundation، التي طورت هذا المعيار.
رد OpenAI الدفاعي على التحدي
هذا الأربعاء، أصدر باحثون في OpenAI بيانًا حاولوا فيه تفسير الأداء الضعيف الظاهر لنموذجهم. وأكدوا أن اللوم لا يقع على النموذج نفسه، بل على البرنامج الذي أُدرج النموذج داخله، ما قيّد أداءه.
ويُسمى هذا البرنامج harness، وهو شيفرة تدير المعلومات المتاحة للنموذج في كل دور، ومجموعة الأدوات المتاحة له. وتعطي ARC Prize Foundation الأولوية للبساطة في harness الخاص بها، على افتراض أن ذلك يتيح للنماذج التعبير عن قدراتها بنفسها ويوفر ساحة اختبار متكافئة.
لكن OpenAI تقول إن هذا النهج المبسّط أعاق منهجية Sol. إذ ينشئ النموذج ملاحظات خاصة قبل كل إجراء ينفذه، ما يتيح له وضع كل إجراء ضمن سياق نظرية أوسع يختبرها. وتقول OpenAI إن harness الخاص بـARC كان يمحو تلك الملاحظات بعد كل نقلة، ما أدى إلى فقدان قسري للذاكرة وإفساد إجراء الاختبار.
وبالمثل، كان الحد الأقصى لعدد الأحرف في سجل اللعبة المتاح للنموذج يبلغ 175,000 حرف. وبعد تجاوز هذا الحد، كانت السجلات الأقدم تُمحى لإفساح المجال، ما يعني أن الاكتشافات المبكرة المهمة قد تُمحى معها. والنتيجة أن النموذج ربما أصبح بارعًا إلى حد كبير في التحكم في مجريات اللعبة، لكنه نسي ما كان يفترض أن يفعله في الأساس.
وبحسب OpenAI، فإن النتيجة هي أن فرص نموذجها أُحبطت عن غير قصد قبل أن يقدم حتى مدخلة واحدة.
ولإثبات هذه النقطة، أجرى الباحثون اختباراتهم الداخلية الخاصة، والتي أعادت نتيجة بلغت 38.3% عبر الألعاب الـ25 المتاحة للعامة ضمن ARC-AGI-3، مقارنةً بـ13.3% باستخدام harness الأصلي. وحققوا ذلك عبر تعديل شيفرة harness للسماح ببقاء ملاحظات الاستدلال بين النقلات. كما طبقوا تقنية تُسمى الضغط، إذ ضغطوا سجل اللعبة بدلًا من حذفه بالكامل.
نتيجة 38.3% ليست رقمًا قياسيًا مُبلغًا عنه ذاتيًا في ARC-AGI-3
تجدر الإشارة إلى أن الإصدار المتاح للعامة من ARC-AGI-3 مبسّط بدرجة كبيرة، إذ يضم 25 لعبة فقط من أصل 135 لعبة في إصدار المعيار الرسمي الذي تديره ARC Prize Foundation.
وعليه، فإن أي نتائج مسجلة على هذا الإصدار من الاختبار ليست مؤهلة للظهور في لوحة المتصدرين الرئيسية للمؤسسة. كما لا يُسمح باستخدام harness مخصص أو إعدادات مخصصة للنموذج أو أدوات إضافية. أما لوحة المتصدرين المجتمعية المنفصلة، حيث تُسجل النتائج التي تبلغ عنها الجهات بنفسها، فمستوى ترتيبها أقل بكثير. وتحذر ARC نفسها من أن هذه النتائج ليست مؤشرًا موثوقًا على ذكاء الآلة، لأنها لا تتحقق من الشيفرة، ولذلك قد يلعب الاستدلال البشري دورًا فيها. وحتى مع هذه التحفظات، ربما تكون نتيجة OpenAI التي أبلغت عنها بنفسها أقل إثارة للإعجاب مما قد تبدو عليه على الورق.
في وقت سابق من هذا الشهر، ادعى باحثون في Impossible Research أنهم حققوا نتيجة بلغت 95.35% في مجموعة الألعاب العامة باستخدام harness مخصص مع Sol. وسجل الفريق نفسه نتيجة أبلغ عنها ذاتيًا بلغت 99% باستخدام harness نفسه مع تشغيل Claude Opus 4.8 وFable 5 بالتزامن.