ما هو نموذج اللغة الكبير؟

لا يوجد حجم رسمي تصبح عنده نماذج اللغة «كبيرة». فالتسمية نسبية. وهي تشير عادةً إلى مزيج من عدد كبير من المعاملات المتعلَّمة، وبيانات تدريب واسعة، ومتطلبات حوسبة كبيرة، وقدرة على التعامل مع أكثر من مهمة لغوية ضيقة واحدة.

نموذج ذهني مفيد

تخيّل نموذج LLM توليديًا بوصفه دالةً تستقبل تسلسلاً وتُرجع درجاتٍ لاستمرارات محتملة.

يتكوّن التسلسل من رموز: وهي وحدات النص التي يعالجها النموذج، وقد تكون كلمات كاملة، أو أجزاءً من كلمات، أو علامات ترقيم، أو رموزًا أخرى. لا يكتب النموذج فقرةً مخفيةً ثم يكشفها. بل يقيّم ما يمكن أن يأتي بعد ذلك، ويختار رمزًا واحدًا، ويضيفه إلى التسلسل، ثم يعيد تشغيل العملية.

تلك الحلقة هي المفتاح:

flowchart LR
    A[Prompt and prior output] --> B[LLM scores possible next tokens]
    B --> C[One token is selected]
    C --> D[Selected token is appended]
    D --> B

وبالتالي يصبح ناتج النموذج نفسه جزءًا من مدخله التالي. وقد يغيّر اختيار مبكر كل اختيار يأتي بعده.

هذا النموذج الذهني أدق من وصف نموذج LLM بأنه قاعدة بيانات. فقد يؤدي التدريب إلى جعل النموذج يعيد إنتاج مواد سبق أن رآها، لكن التوليد العادي لا يعمل عبر البحث في مجموعة من الجمل المخزنة ولصق أقرب تطابق. بل يطبّق النموذج علاقات عددية متعلَّمة على التسلسل الحالي.

كيف يعمل نموذج LLM

يمر نموذج LLM بمرحلتين متميزتين: التدريب والاستخدام.

أثناء التدريب المسبق

يُقسَّم النص إلى رموز. ويُعطى النموذج مسائل تنبؤ مُنشأة من ذلك النص. ويتنبأ نموذج اللغة السببي بالرمز التالي انطلاقًا من الرموز السابقة. وتتعلّم نماذج اللغة الأخرى عبر إعادة بناء الرموز المخفية أو تحويل تسلسل إلى تسلسل آخر.

ينتج عن كل تنبؤ إشارة خطأ. ويعمل التدريب على تعديل الأوزان العددية للنموذج مرارًا، بحيث تصبح التنبؤات الأفضل أكثر احتمالًا. وعبر أمثلة كثيرة، تلتقط هذه الأوزان أنماطًا قابلة لإعادة الاستخدام تتعلق بالتهجئة والقواعد والأسلوب والحقائق والبرمجة والعلاقات بين الأفكار.

تساعد بنية المحوّل النموذج على الجمع بين الأجزاء ذات الصلة من التسلسل المتاح عند حساب كل تمثيل. وهي البنية السائدة وراء نماذج LLM، لكنها ليست جزءًا من تعريف ثابت لا يتغير؛ إذ يمكن استخدام بنيات أخرى أيضًا لبناء نماذج لغة كبيرة.

ينشئ التدريب المسبق نموذجًا أساسيًا، وليس بالضرورة مساعدًا مفيدًا. ويمكن لتدريب إضافي أن يجعل النموذج أفضل في اتباع التعليمات، أو تفضيل أنواع معينة من الإجابات، أو رفض طلبات معينة. وتغيّر هذه الخطوات سلوكه، لكنها لا تحوّله إلى قاعدة بيانات ولا تضمن صحة مخرجاته.

أثناء التوليد

في وقت الاستدلال تكون الأوزان المتعلَّمة ثابتة. وتُحوَّل المطالبة وأي سياق آخر مُقدَّم إلى رموز. ثم يحسب النموذج درجةً لكل رمز تالٍ ممكن. ويختار البرنامج بعد ذلك رمزًا باستخدام قاعدة لفك الترميز.

يُعد اختيار الرمز الأعلى درجةً في كل مرة أحد الخيارات. أما أخذ عينات من بين عدة رموز معقولة فهو خيار آخر. ويمكن لأخذ العينات أن ينتج استجابات مختلفة للمطالبة نفسها، حتى عندما لا تتغير أوزان النموذج.

بعد اختيار رمز، يُلحَق بالتسلسل. ويحسب النموذج توزيعًا جديدًا مشروطًا بالمطالبة وكل ما جرى توليده حتى تلك اللحظة. وينتهي التوليد عندما يختار النموذج رمز توقف، أو يصل إلى حد المخرجات، أو يوقفه البرنامج المحيط.

مثال عملي على التوليد

افترض أن النص الحالي هو:

عاصمة فرنسا هي

للتوضيح، تخيّل أن نموذجًا يعيّن الاحتمالات التالية لأربعة رموز تالية ممكنة:

تتقاسم الاحتمالات غير المعروضة الاحتمال المتبقي. هذه الأرقام مُختلَقة لشرح الآلية؛ وليست قياسات من نموذج بعينه.

إذا اختار النظام باريس، يصبح التسلسل:

عاصمة فرنسا هي باريس

يقيّم النموذج الآن ذلك التسلسل الأطول. وقد تتضمن الرموز التالية المعقولة علامات ترقيم أو كلمات تواصل العبارة. وما إن يُختَر أحدها حتى تتكرر الحلقة.

تنتج عن هذا المثال ثلاث حقائق مفيدة.

أولًا، لا يحتاج النموذج إلى برنامج منفصل لـ«الإجابة عن الأسئلة». إذ يمكن تمثيل السؤال، وطلب الترجمة، وعينة الشيفرة، وتعليمات التلخيص كلها كنص يشير استمراره إلى المهمة.

ثانيًا، لا تعني الاستمرارية ذات الاحتمال المرتفع أنها حقيقة متحقَّق منها. فهدف التدريب يكافئ الملاءمة التنبؤية للبيانات، لا التحقق المباشر من الواقع. وقد تكون العبارة الكاذبة استمرارًا سلسًا.

ثالثًا، يعتمد الناتج على المسار. فإذا اختير رمز غير مرجح أو خاطئ، تُولَّد الرموز اللاحقة في سياق ذلك الاختيار. وقد يواصل النموذج التوليد باتساق انطلاقًا من مقدمة سيئة بدلًا من العودة لتصحيحها.

لماذا تستطيع نماذج LLM أداء مهام كثيرة

يعرّض التدريب المسبق الكبير والمتنوع النموذجَ للعديد من البنى المتكررة. وتشمل هذه البنى الأسئلة التي تتبعها إجابات، والشيفرة التي تتبعها تعليقات، والادعاءات التي تتبعها أدلة، والتعليمات التي يتبعها عمل مكتمل. وينتج عن تعلّم التنبؤ بهذه البنى تمثيلات يمكن إعادة استخدامها.

ويمكن للمطالبة أيضًا أن تحدد مهمةً عند استخدام النموذج. إذ يمكنك وصف النتيجة المطلوبة أو تقديم أمثلة، فيكيّف النموذج استمراره وفقًا لها. ويُسمّى هذا غالبًا التعلّم داخل السياق لأن معلومات المهمة تُقدَّم في المدخل، بدلًا من تثبيتها عبر جولة جديدة من تحديثات الأوزان.

لذلك قد تبدو عبارة «التنبؤ بالرمز التالي» أبسط من السلوك الذي تنتجه. فالهدف بسيط، أما الدالة المتعلَّمة التي تنفذه فليست كذلك. يحل الإكمال التلقائي العادي ونموذج LLM مسائل تنبؤ مترابطة، لكنهما يختلفان كثيرًا في سعة النموذج، واستخدام السياق، واتساع التدريب، ونطاق الأنماط التي يمكنهما تطبيقها.

لماذا تهم نماذج LLM

يمكن لنموذج واحد مُدرَّب مسبقًا أن يدعم الصياغة والاستخراج والتصنيف والترجمة والتلخيص والإجابة عن الأسئلة وتوليد الشيفرة، وذلك عبر تغيير المدخلات. وهذا يجعل اللغة واجهةً مرنةً للبرمجيات.

وتنشئ المرونة نفسها مخاطر. فناتج نموذج LLM مُولَّد، وليس مسترجَعًا من مصدر موثوق. وقد تكون النتائج خاطئة أو متحيزة أو غير متسقة أو حساسة لصياغة المطالبة. وليس السؤال الصحيح ببساطة هو ما إذا كان نموذج LLM «يعرف» موضوعًا ما. إذ تعتمد الموثوقية على المهمة، والتدريب والسياق المقدَّم، وطريقة فك الترميز، وأي عمليات تحقق ينفذها النظام المحيط.

كما أن نموذج LLM ليس سوى طبقة واحدة من منتج ذكاء اصطناعي. فهو لا يمتلك تلقائيًا حساب مستخدم، أو ذاكرة دائمة، أو وصولًا إلى الويب، أو مستندات خاصة، أو إذنًا لتنفيذ إجراءات. وتأتي هذه القدرات من البرمجيات المحيطة بالنموذج.

مفاهيم خاطئة شائعة

«نموذج LLM هو برنامج دردشة»

نموذج LLM هو النموذج الذي يعالج اللغة أو يولّدها. أما روبوت الدردشة بالذكاء الاصطناعي فهو منتج قد يجمع بين نموذج LLM وواجهة محادثة وتعليمات واسترجاع وإشراف وذاكرة وبرمجيات أخرى. ويمكن استخدام نموذج LLM نفسه من دون واجهة دردشة.

«النموذج يبحث عن إجابته»

يحسب النموذج عادةً استمرارًا انطلاقًا من أوزانه وسياقه الحالي. ويمكن لمنتج ما أن يبحث بشكل منفصل في الويب أو يسترجع مستندات ويضع النتائج في المطالبة، لكن هذه قدرة لدى المنظومة المحيطة بالذكاء الاصطناعي، وليست دليلًا على أن نموذج LLM نفسه أجرى بحثًا.

«إتقان اللغة يثبت أن النموذج يفهم»

لا يتفق الباحثون على اختبار واحد للفهم. ويمكن لنموذج LLM أن يُظهر كفاءة لغوية مفيدة وأن يشكّل تمثيلات داخلية تدعم المهام المعقدة. لكن ذلك لا يثبت بحد ذاته امتلاك معنى أو تجربة أو نية شبيهة بالإنسان، أو ارتباطًا بالعالم. ومن الأوضح وصف السلوك الذي يجري قياسه بدل استخدام «يفهم» كتفسير شامل.

«إنه مجرد إكمال تلقائي، لذلك لا يستطيع فعل أي شيء جديد»

نموذج LLM متنبئ ذاتي الانحدار، لكن كلمة «مجرد» تخفي الجزء المهم: ما تعلّمه النموذج ومقدار السياق الذي يستطيع تكييفه وفقًا له. ويمكنه دمج الأنماط بطرق لم تكن موجودة كمقطع كامل في بيانات تدريبه. ومع ذلك، لا يُعد الناتج الجديد دليلًا على صحة كل ادعاء يتضمنه.

«لكلمة كبير حدّ دقيق»

لا يوجد تعريف رسمي يحدد حدًا أدنى لعدد المعاملات أو رموز التدريب أو وحدات الحوسبة. ويتغير الحد الفاصل بين نموذج لغة صغير ونموذج LLM بتغير الاستخدام والتقنية. ولا يكون ادعاء الحجم ذا معنى إلا إذا سمّى الكمية التي تجري مقارنتها.

كيف يندمج نموذج LLM في نظام أكبر

تبدو البنية الأساسية كالتالي:

1. يحوّل نموذج LLM السياق إلى استمرارات لغوية محتملة.
2. تُعدّ المنظومة المحيطة السياق، وتستدعي النموذج، وقد توصله بالبيانات أو الأدوات.
3. ويعرض روبوت الدردشة ذلك النظام في صورة محادثة.
4. ويضيف وكيل الذكاء الاصطناعي حلقةً يمكنها اختيار الإجراءات، وفحص النتائج، ومواصلة العمل نحو هدف.

يسهّل إبقاء هذه الطبقات منفصلة تقييم ادعاءات المنتجات. فعبارة «بحث المساعد في الويب» تصف النظام بأكمله. أما عبارة «ولّد نموذج LLM استعلام البحث وفسّر النص المُعاد» فتصف دور النموذج بدقة أكبر.

إلى أين تذهب بعد ذلك

اقرأ ما هو الرمز في الذكاء الاصطناعي؟ لفهم الوحدات التي يعالجها نموذج LLM. ثم راجع ما هي نافذة السياق؟ لمعرفة الحد الأقصى للمعلومات المتاحة أثناء عملية توليد واحدة، وما هو التدريب في الذكاء الاصطناعي؟ لمعرفة كيفية تعلّم أوزان النموذج، وما هو الاستدلال في الذكاء الاصطناعي؟ لمعرفة ما يحدث عند استخدام نموذج متعلَّم.