نموذج ذهني مفيد
تبدأ الشبكة العصبية بوصفها بنيةً ذات إعدادات عددية فارغة. وتحدد البنية الحسابات التي تحدث وترتيب حدوثها، بينما توفّر الأوزان كثيرًا من الأرقام التي تستخدمها تلك الحسابات.
فكّر في البنية على أنها قالب حساب قابل لإعادة الاستخدام، وفي الأوزان على أنها قيم تملأ خاناته. يمكن لنموذجين استخدام البنية نفسها مع اختلاف سلوكهما لأنهما يحتويان على أوزان متعلَّمة مختلفة. لكن التشبيه يتوقف عند هذا الحد: فعلى خلاف الإعدادات المسمّاة على لوحة تحكم، لا تحمل الأوزان الفردية عادةً أسماء مثل «القواعد» أو «القطط».
يمكن رسم طبقة شائعة على النحو الآتي:
input signals x
│
▼
multiply and combine with weights W
│
▼
add a learned offset b
│
▼
apply the layer's function
│
▼
output signalsيُسمى الإزاحة b انحيازًا. الأوزان والانحيازات كلاهما معلمات النموذج، لكن الأوزان وحدها هي التي تضرب الإشارات.
كيف تعمل أوزان النموذج
لنفترض أن طبقةً تستقبل عدة أرقام من الطبقة السابقة لها. ولإنتاج رقم جديد واحد، تضرب كل مدخل في وزن وتجمع النتائج:
المخرج = (المدخل₁ × الوزن₁) + (المدخل₂ × الوزن₂) + ... + الانحياز
يدفع الوزن الموجب المجموع في الاتجاه نفسه لاتجاه مدخله، بينما يدفعه الوزن السالب في الاتجاه المعاكس. ويجعل الوزن القريب من الصفر إسهام ذلك المدخل قليلًا في هذا المجموع المحدد.
تحسب الطبقة الحقيقية مخرجات كثيرة دفعةً واحدة. وتُنظَّم أوزانها في صورة مصفوفة، لذا تكون الصيغة المختصرة:
y = Wx + b
هنا، x متجه إشارات الإدخال، وW مصفوفة الأوزان، وb متجه الانحيازات، وy هي النتيجة قبل تطبيق أي دالة لاحقة. تخزّن أُطر العمل أحيانًا W منقولة، لكن العملية الأساسية تظل نفسها.
تكرر الشبكات العميقة تنويعات من هذه العملية عبر طبقات كثيرة. ويؤثر التغيير المبكر في الإشارات التي تستقبلها الطبقات اللاحقة، لذلك يمكن أن يمتد أثره عبر بقية الحساب. وتجعل الدوال غير الخطية، والتطبيع، والمعلمات المعاد استخدامها، والتفاعلات مع الأوزان الأخرى، هذا الأثر معتمدًا على السياق.
ولهذا فإن إشارة وزن واحد أو حجمه لا يمثلان مقياسًا موثوقًا لأهميته بالنسبة إلى النموذج بأكمله. فمعناه يعتمد على موضعه، ومقياس مدخلاته، والمعلمات القريبة منه، وكل عملية لاحقة تستخدم الإشارة الناتجة.
مثال تطبيقي
لنفترض وجود طبقة ذات مدخلين:
- المدخل الأول:
3 - المدخل الثاني:
2 - الوزن الأول:
0.8 - الوزن الثاني:
-0.5 - الانحياز:
0.1
تحسب الطبقة:
(3 × 0.8) + (2 × -0.5) + 0.1 = 1.5
والآن غيّر الوزن الثاني فقط من -0.5 إلى 0.5:
(3 × 0.8) + (2 × 0.5) + 0.1 = 3.5
لم يتغير المدخل، ولم تتغير بنية الحساب. لقد تغير المخرج لأن أحد المضاعِفات المتعلَّمة تغير.
يجعل هذا المثال الصغير كل قيمة سهلة الفحص. أما الشبكة الكبيرة فتنفذ كثيرًا من هذه التركيبات في وقت واحد، ثم تمرر النتائج عبر طبقات أخرى. وفي هذا السياق، لا يزال للوزن وظيفة محلية دقيقة، لكن إسهامه في الإجابة النهائية نادرًا ما يكون ذا معنى بمعزل عن غيره.
كيف تتعلّم الأوزان
يبحث التدريب عن قيم أوزان تجعل النموذج يؤدي مهمته بصورة أفضل. وتتكون خطوة التدريب النموذجية من أربعة أجزاء:
- يستخدم النموذج أوزانه الحالية لإنتاج مخرج.
- تقيس دالة خسارة الخطأ بالنسبة إلى هدف التدريب.
- يحسب الانتشار العكسي تدرجًا لكل وزن. ويصف التدرج كيف سيؤثر تغيير صغير في ذلك الوزن في الخسارة.
- يستخدم المحسِّن تلك التدرجات لضبط الأوزان.
التحديث المبسّط هو:
الوزن الجديد = الوزن القديم - معدل التعلم × التدرج
يتحكم معدل التعلم في حجم الخطوة. ويؤدي تكرار هذه التحديثات عبر أمثلة التدريب إلى إنتاج مجموعة أوزان تعمل بصورة أفضل تدريجيًا لتحقيق الهدف.
لا تُسند العملية عادةً مفهومًا بشريًا إلى كل رقم. فالتعلم موزَّع؛ إذ قد يعتمد سلوك مفيد على أنماط موزعة عبر أوزان كثيرة، كما يمكن لوزن واحد أن يشارك في سلوكيات متعددة.
ولا يلزم أن تبدأ الأوزان من الصفر. تبدأ الشبكات العصبية عادةً بقيم عشوائية مضبوطة بعناية. فلو بدأت الوحدات المتكافئة بصورة متماثلة، فقد تتلقى تحديثات متطابقة ولا تتعلم أدوارًا مختلفة.
لماذا تهم الأوزان؟
الأوزان هي النتيجة الدائمة للتدريب. وبعد انتهاء التدريب، يمكن حفظ القيم المتعلَّمة في نقطة تحقق وتحميلها لاحقًا بدلًا من إعادة تعلمها عند كل استخدام.
يؤدي تغيير الأوزان إلى تغيير سلوك النموذج حتى مع بقاء الشيفرة والبنية كما هما. ويفعل الضبط الدقيق ذلك عمدًا من خلال مواصلة التدريب انطلاقًا من نقطة تحقق موجودة. ويمكن لتقنيات أخرى أن تغيّر طريقة تمثيل الأوزان؛ فمثلًا، قد يؤدي تخزينها بدقة عددية أقل إلى تقليل استخدام الذاكرة، مع اعتماد المفاضلة في جودة المخرج على النموذج والطريقة.
كما تمثل الأوزان جزءًا كبيرًا من مساحة التخزين والذاكرة العاملة اللازمتين لتشغيل نموذج مدرَّب. فالمزيد من القيم والمزيد من البايتات لكل قيمة يتطلبان عمومًا ذاكرة أكبر. وهذه العلاقة مفيدة، لكنها ليست مقياسًا كاملًا للأداء؛ إذ تؤثر أيضًا النفقات العامة لوقت التشغيل، والحسابات المؤقتة، وطول المدخل، والتجميع، والعتاد.
والأهم أن الأوزان ضرورية لكنها غير كافية. فلا يكون موتر الأوزان ذا معنى إلا عند وضعه في الجزء المطابق من بنية متوافقة. وقد تحتاج حزمة النموذج القابلة للاستخدام أيضًا إلى الإعدادات، ومعالجة المدخلات، وفك ترميز المخرجات، وشيفرة وقت التشغيل. ولا تحدد الأوزان واجهة المنتج الكاملة، أو قواعد السلامة، أو نظام الاسترجاع، أو الأدوات المحيطة بالنموذج.
مفاهيم خاطئة شائعة
«الأوزان والمعلمات شيء واحد»
يستخدم بعض الناس الكلمتين بالتبادل. لكن وفق التعريف الأدق، كل وزن هو معلمة، وليس كل معلمة وزنًا. فالانحيازات وبعض قيم التحجيم معلمات أيضًا. ومع ذلك، قد تسمي أُطر العمل وناشرو النماذج الملف الذي يحتوي على جميع المعلمات المتعلَّمة «ملف أوزان».
«الوزن الأكبر دائمًا أهم»
لا يكون مقدار الوزن ذا معنى إلا في سياقه. فقد يكون للمدخل ذي المقياس الصغير والوزن الكبير الأثر المحلي نفسه الذي يحدثه مدخل ذو مقياس كبير ووزن صغير. ويمكن للطبقات اللاحقة أن تضخّم النتيجة أو تلغيها أو تعيد توجيهها أو تتجاهلها.
«كل وزن يخزّن حقيقة واحدة»
تشفّر الأوزان مجتمعةً الأنماط المتعلَّمة من التدريب، وليست صفوفًا في جدول حقائق. وقد تتطلب حقيقة أو قدرة واحدة قيمًا كثيرة، بينما يمكن لقيمة واحدة أن تؤثر في مدخلات عديدة. ويمكن للنماذج إعادة إنتاج بعض محتوى التدريب، لكن ذلك لا يحوّل الأوزان إلى نسخة قابلة للبحث المباشر من مجموعة البيانات.
«الأوزان هي نظام الذكاء الاصطناعي بأكمله»
نقطة التحقق ليست تطبيقًا كاملًا. فالبنية والإعدادات المطابقة ضرورية لتفسير موتراتها. وقد يضيف منتج الذكاء الاصطناعي أيضًا تعليمات، واسترجاعًا، وأدوات، ومرشحات، ومنطقًا للواجهة، لا تكون موجودة في أوزان النموذج.
«يحدّث النموذج أوزانه كلما استخدمته»
تقرأ عملية الاستدلال العادية الأوزان الثابتة لحساب المخرجات. وقد تؤثر المحادثة الحالية في المخرجات اللاحقة عبر السياق المقدَّم، لكن ذلك لا يساوي إعادة تدريب الأوزان. ولا يغيّر النظام الأوزان إلا عندما يتضمن عملية صريحة للتدريب أو التكيّف.
كيف تنسجم الأوزان مع النظام الأوسع؟
تحدد البنية مسار الحساب. وتوفّر المعلمات القيم المتعلَّمة على امتداد ذلك المسار. تضرب الأوزان الإشارات، بينما تؤدي الانحيازات وأنواع المعلمات الأخرى أدوارها الخاصة. ويضبط التدريب تلك القيم، ويستخدم الاستدلال القيم الناتجة لمعالجة مدخل جديد.
اقرأ ما معلمات النموذج؟ تاليًا للاطلاع على الفئة الأوسع التي تشمل الأوزان والانحيازات والقيم المتعلَّمة الأخرى. واستخدم معلمات النموذج مقابل أوزان النموذج للتعرّف على الفرق المباشر. وعُد إلى ما الشبكة العصبية؟ لفهم كيفية جمع الطبقات الموزونة لتكوين شبكة كاملة، أو تابع إلى ما التدريب في الذكاء الاصطناعي؟ لمعرفة كيفية تعلُّم تلك القيم.