نموذج ذهني مفيد
التدريب هو تصحيح مضبوط للأخطاء.
تخيّل أن للنموذج مقابض قابلة للضبط في داخله. يدخل مثال، وينتج النموذج مخرجًا. ثم تحدد قاعدة تقييم مدى جودة ذلك المخرج أو سوءه. يحسب التدريب الاتجاه الذي ينبغي تدوير المقابض نحوه، ويديرها مقدارًا صغيرًا، ثم يحاول مجددًا.
تُسمى هذه «المقابض» العددية معلمات النموذج. وتُسمى قاعدة التقييم الهدف. وعندما يكون الانخفاض أفضل، تُسمى قيمتها غالبًا الخسارة.
هذه الصورة أدق من القول إن النموذج «يمتص» بياناته. فالبيانات توفر الأمثلة، والهدف يحدد اتجاه التحسين، وخوارزمية التدريب تغيّر النموذج.
training examples
|
v
model makes outputs
|
v
objective measures loss or reward
|
v
calculate each parameter's contribution
|
v
update parameters
|
+---------- repeat ----------+
held-out validation data checks whether the result transfersكيف يعمل تدريب الذكاء الاصطناعي
تعتمد الطريقة الدقيقة على النموذج والهدف، لكن تدريب الشبكات العصبية يتبع عادةً هذه الحلقة:
- إعداد الأمثلة والهدف.قد تربط بيانات التدريب المدخلات بالتصنيفات، أو تحجب جزءًا من المدخل ليحاول النموذج التنبؤ به، أو تتضمن ملاحظات حول المخرجات المفضلة.
- اختيار نموذج ابتدائي.قد يبدأ التدريب بمعلمات مهيأة حديثًا أو بنموذج سبق تدريبه.
- تمرير دفعة عبر النموذج.الدفعة مجموعة صغيرة من الأمثلة تُعالَج معًا. يشبه هذا التمرير الأمامي الاستدلال: إذ يحوّل النموذج الحالي المدخلات إلى مخرجات.
- تقييم المخرجات.قد تقيس دالة خسارة المسافة عن الإجابات المستهدفة. وقد يسند هدف آخر مكافأة أعلى إلى السلوك المفضّل.
- إسناد الفضل أو اللوم.تحسب الانتشارية العكسية في الشبكة العصبية تدرجًا لكل معلمة. ويبيّن التدرج كيف يُتوقع أن يغيّر تعديل صغير لهذه المعلمة الخسارة.
- تحديث المعلمات.يستخدم المحسّن تلك التدرجات لاختيار التغييرات الفعلية. ويتحكم معدل التعلم في حجم التحديث المعتاد.
- التكرار والتحقق.يستمر التدريب عبر دفعات إضافية. وتتحقق بيانات تحقق منفصلة مما إذا كان التحسن يتجاوز الأمثلة التي أنتجت التحديثات.
العصر التدريبي (epoch) هو مرور واحد عبر مجموعة بيانات التدريب. وقد يستخدم التدريب جزءًا من عصر تدريبي أو عدة عصور. والعصر التدريبي وحدة للتقدم، وليس ضمانًا لحدوث تعلم مفيد.
تصف الحلقة المعنى التقني الضيق للتدريب. أما عمليًا، فيستخدم الناس كلمة التدريب أيضًا لسير العمل الأوسع المحيط به: جمع البيانات وتصفيتها، واختيار هدف، وإجراء التجارب، وتقييم نقاط التحقق، وتحديد وقت التوقف.
لا تبدو التغذية الراجعة دائمًا بالشكل نفسه
تُعد عبارة «قارن التنبؤ بالإجابة الصحيحة» نقطة بداية مفيدة، لكنها ضيقة جدًا بوصفها تعريفًا.
- في التعلم الخاضع للإشراف، تتضمن الأمثلة تصنيفات مستهدفة، مثل الفئة المسندة إلى صورة.
- في التعلم الذاتي الإشراف، توفر البيانات أهدافها بنفسها. ويمكن لنموذج لغوي أن يتعلم من خلال التنبؤ بجزء مخفي أو تالٍ من النص.
- في التعلم المعزز، تحصل النتائج على مكافآت، ويرفع التدريب احتمال الأفعال التي تؤدي إلى مكافأة أعلى.
تختلف هذه الأساليب في مصدر إشارة التدريب. لكنها تشترك في الفكرة الأساسية نفسها: استخدام التغذية الراجعة لتعديل معلمات النموذج باتجاه هدف.
مثال على خطوة تدريب واحدة
لنفترض نموذجًا له معلمة واحدة، w. إنه يتنبأ بما يلي:
output = w × inputيبدأ النموذج بـ w = 0.5. ويحتوي مثال التدريب على مدخل قيمته 2 ومخرج مستهدف قيمته 4.
التنبؤ الأول هو:
0.5 × 2 = 1استخدم الخطأ التربيعي بوصفه الخسارة:
(prediction - target)²
(1 - 4)² = 9في هذا المثال، تدرج الخسارة بالنسبة إلى w يساوي -12. وتعني الإشارة السالبة أن زيادة w ينبغي أن تقلل الخسارة. ومع معدل تعلم قدره 0.1، يُجري الانحدار المتدرج هذا التحديث:
new w = old w - learning rate × gradient
new w = 0.5 - 0.1 × (-12)
new w = 1.7أصبح التنبؤ الآن 1.7 × 2 = 3.4، وأصبح الخطأ التربيعي 0.36. One update made this example fit better.
قد تحتوي النماذج الحقيقية على عدد كبير من المعلمات، وعادةً ما يجمع التدريب إشارات من دفعة. وعلى المحسّن أن يجد تغييرات تعمل عبر أمثلة متنوعة. ولا يكفي تحسين دفعة واحدة؛ بل يجب أن يؤدي النموذج جيدًا أيضًا على بيانات لم تُستخدم في التدريب.
لماذا يهم التدريب
يحدد التدريب السلوك المتاح عندما يُستخدم النموذج لاحقًا.
تحدد البنية أنواع العمليات الحسابية التي يستطيع النموذج تنفيذها. ويختار التدريب قيم معلمات محددة ضمن تلك البنية. وتشكل هذه القيم الأنماط التي يستجيب لها النموذج والمخرجات التي يميل إلى إنتاجها.
يهم الهدف لأن النموذج يُحسَّن وفق الإشارة التي يتلقاها، لا وفق كل جودة قد يهتم بها الإنسان. قد يصبح النموذج اللغوي المدرَّب على التنبؤ بالنص مفيدًا في مهام لغوية كثيرة، لكن خسارة التنبؤ لا تضمن مباشرةً الصدق أو السلامة أو اتباع التعليمات. ويمكن للتدريب اللاحق أن يستهدف بعض هذه السلوكيات باستخدام العروض التوضيحية أو ملاحظات التفضيل.
وتهم البيانات للسبب نفسه. فلا يمكن للنموذج تلقي إشارات تدريبية إلا من الأمثلة والملاحظات المتاحة له. وقد تؤثر الفجوات والأخطاء والتكرار والتحيز في تلك المواد في النتيجة المدرَّبة.
مفاهيم خاطئة شائعة
يخزن التدريب نسخة من كل مثال
يغير التدريب المعلمات. ولا ينشئ عادةً قاعدة بيانات قابلة للبحث، صفًا بصف، لمجموعة التدريب داخل النموذج.
مع ذلك، قد يحفظ النموذج بعض الأمثلة، ولا سيما عندما تتكرر البيانات أو يُدرَّب النموذج عليها بشكل مفرط. لكن الحفظ والتعميم المفيد نتيجتان مختلفتان. ويساعد التقييم على بيانات منفصلة فعلًا في التمييز بينهما.
انخفاض خسارة التدريب يعني أن النموذج جيد
يعني انخفاض الخسارة أن النموذج يلائم هدف التدريب على البيانات المقاسة بشكل أفضل. لكنه لا يثبت أن النموذج يعمل على حالات جديدة أو أن الهدف يجسد الغاية الحقيقية.
إذا انخفضت خسارة التدريب بينما تراجع الأداء على التحقق، فقد يكون النموذج مفرط التخصيص؛ أي أصبح أكثر تخصصًا في أمثلة التدريب على حساب الأمثلة الجديدة.
المزيد من التدريب يجعل النموذج أفضل دائمًا
قد تساعد التحديثات الإضافية، أو لا تفعل الكثير، أو تزعزع استقرار التدريب، أو تزيد فرط التخصيص. وتعتمد النتيجة على البيانات والهدف وإعدادات المحسّن وسعة النموذج وقرار التوقف.
يتعلم النموذج منك أثناء الدردشة معه
أثناء استدلال الذكاء الاصطناعي العادي، يستخدم النموذج المنشور معلمات ثابتة للإجابة عن مدخل. ويمكن للمعلومات الموجودة في المحادثة الحالية أن تؤثر في مخرجه التالي من دون تغيير تلك المعلمات.
قد يستخدم مزود الخدمة التفاعلات المجمعة لاحقًا في عملية تدريب منفصلة، تبعًا للمنتج وسياسة البيانات لديه. وهذا ليس مماثلًا لتحديث النموذج نفسه أثناء المحادثة.
يُدرَّب كل نموذج من الصفر
قد يبدأ التدريب من نموذج موجود. يبني التدريب المسبق قدرات عامة من مجموعة بيانات كبيرة وعامة. ويواصل الضبط الدقيق التدريب لمهمة أو مجال أضيق. أما ما بعد التدريب فهو تسمية أوسع للمراحل اللاحقة الهادفة إلى تشكيل السلوك، وقد تشمل الضبط الدقيق والأساليب القائمة على التفضيلات.
ليست الحدود بين هذه التسميات موحّدة تمامًا. والاختبار الموثوق هو معرفة ما إذا كانت العملية تحدّث معلمات النموذج. فقد يؤدي تزويد النموذج بأمثلة في المطالبة إلى تغيير المخرج من دون تدريب النموذج.
كيف يندرج التدريب ضمن نظام الذكاء الاصطناعي
التعلم الآلي هو النهج الأوسع الذي تتحسن فيه الأنظمة من البيانات أو الخبرة. أما التدريب فهو العملية التي تنتج نموذجًا أو تكيّفه ضمن هذا النهج.
يكون ناتج عملية التدريب عادةً نقطة تحقق محفوظة، وتحتوي على الأوزان المتعلَّمة وحالة أخرى. ويقيّم المطورون نقاط التحقق المرشحة ويختارون إحداها لمزيد من التدريب أو للنشر.
يبدأ النشر مرحلة تشغيل مختلفة. ففي الاستدلال، تمر المدخلات عبر النموذج المدرَّب لإنتاج تنبؤات أو تصنيفات أو محتوى مولّد. ويظهر التمرير الأمامي في كلتا المرحلتين، لكن التدريب يضيف التغذية الراجعة وحساب التدرج وتحديثات المعلمات.
إلى أين تذهب بعد ذلك
اقرأ ما الاستدلال في الذكاء الاصطناعي؟ لترى ما الذي يتغير عندما تتوقف حلقة تحديث المعلمات ويُستخدم نموذج مدرَّب. ثم استخدم التدريب مقابل الاستدلال للمقارنة المباشرة بين مرحلتي دورة الحياة.