ذكر تقرير جديد نشرته Anthropic يوم الجمعة أن نموذج Claude Mythos 5 أنشأ حسابات مزيفة وحاول خداع مطوّر برمجيات لنشر شيفرة خبيثة خلال اختبار للأمن السيبراني في المملكة المتحدة.
ركّز التقرير على حادثة وقعت في يوليو وكشف عنها معهد أمن الذكاء الاصطناعي البريطاني (AISI) في أغسطس.
كُلّف Mythos 5 باختراق شبكة حاسوب مُحاكاة والاستيلاء على جزء محمي من البيانات.
بعد فشل محاولاته الأولى، غيّر Mythos 5 نهجه واستهدف مطوّرًا على GitHub لا علاقة له بالاختبار. وحاول اختراق الشبكة عبر إضافة شيفرة خبيثة إلى المشروع.
أرسل الشيفرة، بل وراسل أيضًا القائمين على صيانة المشروع عبر البريد الإلكتروني متظاهرًا بأنه مستخدم بشري. وعندما أبلغ مطوّر خارجي عن الشيفرة الخبيثة، أنشأ Mythos مستخدمين مزيفين آخرين لمحاولة إقناع المطوّر بأن الشيفرة سليمة. لكن المحاولة فشلت في النهاية، ورفض القائمون على صيانة المشروع التغييرات.
"لم نرصد هذا الشكل من محاولات الهندسة الاجتماعية على أشخاص حقيقيين في أي حادثة سابقة، ولا في تقييماتنا الداخلية"، كتبت Anthropic.
صعوبة إيقاف الهجمات
وجدت تجارب متابعة أجرتها Anthropic أن Mythos 5 نادرًا ما يتوقف عندما يبدأ هجومًا. وحتى في الحالات التي أبلغ فيها الباحثون Mythos بأنه يستهدف أشخاصًا حقيقيين لا علاقة لهم بالاختبارات، لم يوقف هجومه إلا في 5% من الحالات.
تقرير AISI المنفصل توصّل إلى مشكلات مماثلة. فغالبًا ما توهّم Mythos 5 أن جميع أهدافه مجرد محاكاة، بل كان يمضي قدمًا في هجمات أقرّ بأنها ستكون ضارة إذا سُمح له بتنفيذها.
قالت Anthropic إن نماذجها الأحدث كانت أقل احتمالًا بكثير لبدء الهجمات. لكن AISI وجد أن بعض النماذج تمكّنت من إدراك أنها قيد الاختبار، ما جعل «من الأصعب معرفة ما إذا كانت النماذج ستُظهر السلوك نفسه في سيناريوهات النشر الفعلي».
أوقف AISI منح النماذج إمكانية الوصول إلى الإنترنت في الاختبارات التي أعقبت هذه الحادثة. ويعمل المعهد أيضًا على وضع وسائل حماية وضوابط أقوى.