كيف يعمل حدّ المعرفة
أثناء التدريب، يضبط نموذج لغوي كبير قيمه الداخلية باستخدام الأنماط الموجودة في بيانات تدريبه. وبعد نشر النموذج المدرَّب، تعتمد الإجابة عن سؤالك عادةً على تلك القيم من دون تحديثها. ولا تدخل الأحداث الجديدة إلى النموذج لمجرد مرور الوقت أو ذكر أحد لها في محادثة.
يلخّص حدّ المعرفة المُعلَن مدى حداثة المعلومات التي تعلّمها النموذج كما هو مقصود. ولا يعني ذلك أن كل مصدر جُمِع في يوم واحد. فبيانات التدريب تأتي من مصادر كثيرة، جُمعت ورُشِّحت في أوقات مختلفة. وقد تكون بعض المعلومات السابقة لحدّ المعرفة غائبة، أو نادرة، أو متناقضة، أو ممثَّلة بصورة ضعيفة أكثر من اللازم بحيث لا يستطيع النموذج إعادة إنتاجها بشكل موثوق.
لذلك يميّز الباحثون بين حدّ المعرفة المُعلَن وحدّ المعرفة الفعلي. حدّ المعرفة المُعلَن هو التاريخ الذي يحدده مزوّد النموذج. أما حدّ المعرفة الفعلي فهو الفترة التي يُظهر النموذج خلالها معرفة موثوقة فعلًا بمصدر أو موضوع معيّن. وقد وجدت أبحاث أُجريت على مجموعات بيانات مؤرَّخة أن هذه الحدود قد تختلف.
وهذا يجعل حدّ المعرفة أقرب إلى حافة متلاشية منه إلى جدار محكم الإغلاق. فقد تصبح المعرفة أكثر تشتتًا قرب الحافة، كما يختلف نطاق التغطية باختلاف الموضوع.
مثال تطبيقي
لنفترض أن وثائق النموذج تحدد 31 مارس حدًّا لمعرفته.
- تسأل عن قانون حظي بتغطية إعلامية واسعة وأُقرّ في 1 فبراير. قد يجيب النموذج إجابة صحيحة لأن الحدث وقع قبل حدّ المعرفة وظهر بما يكفي في بيانات تدريبه.
- تسأل عن إشعار محلي غامض نُشر في 1 فبراير. قد لا يعرفه النموذج، رغم أنه يسبق حدّ المعرفة.
- تسأل عن نتيجة انتخابات أُعلنت في 15 أبريل. لا يمكن للنموذج أن يكون قد تعلّم تلك النتيجة من بيانات تدريب انتهت في مارس. ومن دون مصدر آخر، قد يقرّ بوجود فجوة، أو يستنتج إجابة، أو يختلق إجابة معقولة ظاهريًا.
- تلصق النتيجة الرسمية الصادرة في 15 أبريل داخل المحادثة وتسأل السؤال نفسه. يمكن للنموذج الآن أن يجيب اعتمادًا على النص الذي قدّمته. ولا يزال حدّ معرفته هو 31 مارس.
تعمل أنظمة البحث على الويب والاسترجاع بطريقة مماثلة للحالة الأخيرة. إذ تعثر الأداة على مواد ذات صلة وتضيفها إلى المعلومات التي يستطيع النموذج قراءتها لهذا الطلب. ويمكن أن ينتج عن ذلك جواب حديث من دون تغيير ما تعلّمه النموذج أثناء التدريب.
لماذا يهمّ حدّ المعرفة؟
يهمّ حدّ المعرفة كلما اعتمدت الإجابة على الزمن. فالأخبار والقوانين والأسعار وشاغلو المناصب ومواصفات المنتجات والإرشادات الطبية ووثائق البرمجيات، كلها قد تتغير بعد تدريب النموذج.
تحقّق من وثائق المزوّد الخاصة بالنموذج الدقيق الذي تستخدمه. فقد تكون للنماذج التابعة للمزوّد نفسه حدود معرفة مختلفة، كما قد يبدّل المنتج النموذج الأساسي الذي يعتمد عليه. ولا تعتمد على النموذج لتحديد حدّ معرفته بنفسه بدقة.
في الأسئلة عالية المخاطر أو سريعة التغيّر، لا يكون تاريخ حدّ المعرفة سوى الفحص الأول. تحتاج أيضًا إلى معرفة ما إذا كان المنتج يستطيع استرجاع مصادر حديثة، وما إذا كان قد فعل ذلك فعلًا لهذه الإجابة، وما إذا كانت تلك المصادر موثوقة. يقلّل البحث فجوة الحداثة، لكن المصادر الضعيفة أو التي أسيء فهمها قد تؤدي مع ذلك إلى إجابة خاطئة.
قد يزيد حدّ المعرفة الأحدث احتمالَ تضمين المعلومات الحديثة. لكنه لا يثبت أن النموذج يعرف الحقيقة التي تحتاج إليها. اختبر المعارف المهمة والحساسة للوقت في مجالك أنت.
مفاهيم خاطئة شائعة
«يعرف النموذج كل شيء قبل حدّ المعرفة»
لا. يصف التاريخ حدًّا للتدريب، وليس تغطية كاملة. فقد تكون حقيقة سابقة لحدّ المعرفة غائبة أو غير موثوقة.
«لا يستطيع النموذج مناقشة أي شيء بعد حدّ المعرفة»
يمكنه الاستدلال بشأن معلومات أحدث تزوّده بها أنت أو إحدى الأدوات. وقد يستنتج أيضًا تطورات محتملة، لكن الاستنتاج ليس دليلًا على أنه تعلّم الحدث اللاحق.
«يؤدي التصفح إلى تحديث النموذج»
يوفّر التصفح للنموذج مواد مؤقتة ليقرأها من أجل طلب معيّن. لكنه لا يعيد كتابة النموذج المدرَّب ولا ينقل حدّ معرفته.
«حدّ المعرفة هو نفسه نافذة السياق»
إنهما يحدّان من شيئين مختلفين. يتعلق حدّ المعرفة بالوقت الذي تعلّم فيه النموذج معرفته المضمَّنة. أما نافذة السياق فتحدّ مقدار المعلومات التي يستطيع النموذج معالجتها في الطلب الحالي.
إلى أين تذهب بعد ذلك؟
التمييز العملي هو بين المعلومات التي تعلّمها النموذج أثناء التدريب والمعلومات التي تُقدَّم إليه عندما يجيب. إذا كنت تحتاج إلى أساس هذا التمييز، فابدأ بموضوع ما هو نموذج LLM؟. ثم استخدم موضوع نافذة السياق مقابل حدّ المعرفة للفصل بين الحدّين مباشرةً.