يشير مصطلح الوسيط إلى طريقة متميزة لتمثيل المعلومات أو اختبارها. فالفقرة، والصورة الفوتوغرافية، والتسجيل الصوتي، وقراءة مستشعر العمق وسائط مختلفة. ولها بنيات مختلفة، لكنها قد تصف الحدث نفسه.
مهمة واحدة، وأنواع متعددة من الأدلة
لنفترض أنك حمّلت صورة لإيصال مطعم وكتبت:
تناولت آنا الحساء، وتناول بو المعكرونة، وتقاسما السلطة. اقسما الضريبة بما يتناسب مع إجمالي ما تناوله كلٌّ منهما.
توجد الأسعار في الصورة، بينما توجد قواعد الملكية والتقاسم في النص. ولا يكفي أيٌّ من المدخلين بمفرده. وللإجابة، يجب على النموذج أن يربط كلمات مثل «الحساء» و«السلطة» بالمناطق الصحيحة من الإيصال، ويدخل أسعارهما في الحساب، ويتبع القاعدة المكتوبة.
ذلك الربط هو الفكرة الأساسية. فالذكاء الاصطناعي متعدد الوسائط ليس مجرد عدة مدخلات موضوعة جنبًا إلى جنب. يجب أن تغيّر المعلومات من وسيط ما طريقة تفسير المعلومات من وسيط آخر أو استخدامها.
وهذا أدق من القول إن الذكاء الاصطناعي متعدد الوسائط «يعمل مثل حواس الإنسان». فالبشر يجمعون فعلًا بين الرؤية والصوت واللغة، لكن نموذج الذكاء الاصطناعي يتلقى بيانات مُرمَّزة، لا تجربةً بشرية. وتفيد المقارنة فقط على مستوى جمع قنوات الأدلة المختلفة.
كيف يعمل الذكاء الاصطناعي متعدد الوسائط
تنفّذ البنى المختلفة تعدد الوسائط بطرق مختلفة. ويتكون المسار الشائع من أربع مراحل.
1. ترميز كل إدخال
للبكسلات الخام والموجات الصوتية والنص أشكال مختلفة. ويحوّل مكوّن خاص بوسيط معين يُسمى المُرمِّز كل إدخال إلى مصفوفات من الأرقام التي تلتقط السمات التي تعلّمها النموذج.
بالنسبة إلى صورة الإيصال، قد تحافظ السمات على الأنماط البصرية المرتبطة بالحروف وبنود الفاتورة والتخطيط. أما التعليمة، فيُقسَّم نصها إلى وحدات قابلة للمعالجة وتُحوَّل إلى تمثيلات رقمية. ولا يحتاج النموذج إلى أن يبدأ المدخلان بالشكل نفسه.
2. محاذاة المعلومات المرتبطة
يجب أن يتعلم النموذج الأجزاء المتناظرة بين الوسائط. وتوفر التعليقات التوضيحية المقترنة بالصور، والكلام المقترن بنصوصه، والفيديو المقترن بأوصافه أمثلة على هذه الروابط أثناء التدريب.
لا تتطلب المحاذاة تطابقًا مثاليًا واحدًا لواحد. فقد تصف جملة واحدة صورةً كاملة، وقد تشير كلمة واحدة إلى منطقة صغيرة، وقد يستمر صوت عبر إطارات فيديو عديدة. ويتعلم النموذج توافقات إحصائية مفيدة، لا خريطة رمزية كاملة.
على سبيل المثال، يدرّب CLIP مُرمِّزَي الصور والنصوص بحيث تحصل الصور والأوصاف المتطابقة على تمثيلات متوافقة. ويدعم ذلك مهام مثل اختيار الوصف النصي الأنسب لصورة ما. وهذا أحد أساليب تعدد الوسائط، وليس قالبًا تستخدمه كل النماذج متعددة الوسائط., for example, trains image and text encoders so matching images and descriptions receive compatible representations. That supports tasks such as choosing which text description best fits an image. It is one approach to multimodality, not a template used by every multimodal model.
3. دمج الأدلة
تحتاج التمثيلات إلى موضع تتفاعل فيه. وغالبًا ما تُسمى هذه الخطوة الدمج.
تجمع بعض الأنظمة السمات مبكرًا وتعالجها معًا. وتتيح أنظمة أخرى لكل وسيط أن يمر بجزء كبير من مساره الخاص قبل دمج النتائج. وتمزج نماذج حديثة كثيرة المعلومات بين هذين الطرفين، فتسمح لسمات مختارة من الصور أو الصوت أو الفيديو بالتأثير في معالجة اللغة.
عرض نموذج Flamingo تصميمًا من هذه التصاميم: إذ يربط مكوّنات الرؤية واللغة المدرَّبة مسبقًا على نحو منفصل بطبقات متعلَّمة بينهما. ويصف التقرير التقني لـ Gemini خيارًا تدريبيًا مختلفًا، إذ تُدرَّب النماذج على الوسائط معًا منذ البداية. كلاهما متعدد الوسائط. فمصطلح «متعدد الوسائط» يصف القدرة، لا بنيةً واحدة. describes a different training choice, with models trained jointly across modalities from the beginning. Both are multimodal. “Multimodal” names the capability, not one architecture.
4. إنتاج المخرج المطلوب
بعد دمج الأدلة، ينتج النموذج أو النظام مخرجًا. وقد يكون ذلك نصًا، أو صورة، أو صوتًا، أو فئة، أو موضعًا في صورة، أو إشارة تحكم.
يُتخذ قرار دعم المدخلات والمخرجات على نحو منفصل. فقد يستطيع النموذج:
- قبول النصوص والصور ثم إخراج نص؛
- قبول النصوص والصوت والفيديو ثم إخراج نص؛
- قبول النص ثم إخراج صور؛
- قبول مدخلات مختلطة وإنتاج أكثر من وسيط إخراج واحد.
ولا يخبرك التصنيف وحده أيًّا من هذه الحالات ينطبق.
Image ──> image encoder ──┐
│
Audio ──> audio encoder ──┼─> alignment and fusion ─> task output
│
Text ───> text encoder ───┘قد تدمج التصميمات الفعلية هذه المراحل أو تكررها أو تستخدم نماذج منفصلة. ويوضح المخطط الوظيفة، لا ترتيبًا إلزاميًا.
مثال تطبيقي
لنعد إلى الإيصال وتعليمات التقسيم المكتوبة.
- يُحوَّل الإدخال البصري إلى سمات تحافظ على نص الإيصال وتخطيطه.
- وتُحوَّل التعليمة المكتوبة إلى تمثيلات نصية.
- وتساعد الروابط التي تعلّمها النموذج أثناء التدريب على ربط «الحساء» و«المعكرونة» و«السلطة» ببنود الإيصال المطابقة.
- يدمج النموذج تلك الأسعار مع قاعدة الملكية.
- وينتج إجابة نصية تعرض المجموع الفرعي لكل شخص ونصيبه من الضريبة.
يمكن أن تحدث إخفاقات عديدة. فقد يتسبب رقم غير واضح في إفساد السعر. وقد يحاذي النموذج كلمة «السلطة» مع السطر الخطأ. وقد يقرأ كل سطر قراءة صحيحة، لكنه يطبق قاعدة الضريبة بطريقة غير صحيحة. يقلل تعدد الوسائط حاجتك إلى نسخ الصورة يدويًا؛ لكنه لا يلغي أخطاء الإدراك أو المحاذاة أو الاستدلال.
ويؤثر التنفيذ أيضًا في دقة الادعاء. فإذا استخدم أحد المكونات أولًا التعرّف الضوئي على الحروف—وهو برنامج يستخرج الأحرف المكتوبة من صورة—وتولى نموذج نصي فقط معالجة النص المستخرج، فالتطبيق نظام متعدد الوسائط. لكن النموذج النصي فقط الموجود داخله لا يصبح بذلك نموذجًا متعدد الوسائط. أما إذا جمع نموذج واحد مباشرةً سمات الصورة المتعلَّمة مع التعليمة، فالنموذج نفسه متعدد الوسائط.
لماذا يهم الذكاء الاصطناعي متعدد الوسائط؟
تتضمن مهام مفيدة كثيرة أدلة لا يمكن اختزالها إلى نص واضح من دون فقدان شيء مهم. فالتخطيط يحمل معنى في النماذج أو الاستمارات. وتحمل النبرة والتوقيت معلومات في الكلام. ويميز التحرك الفيديو عن رصة غير مرتبة من الصور. كما تهم العلاقات المكانية في المخططات والمشاهد.
يمكن أن يؤدي الجمع بين الوسائط إلى حل الغموض. فسؤال مكتوب مثل «لماذا يتسرب هذا الجزء؟» لا يوضح إلى أي جزء تشير كلمة «هذا». وقد توفر صورة مقترنة المرجع المقصود. كما يمكن لمسار صوتي أن يميز بين محرك يعمل ويبدو صوته طبيعيًا ومحرك يصدر ضجيجًا غير معتاد.
ويمكن للواجهات متعددة الوسائط أن تقلل التحويل اليدوي أيضًا. إذ يمكنك الإشارة باستخدام صورة، أو نطق تعليمة، أو إرفاق مخطط بدلًا من ترجمة كل شيء أولًا إلى وصف مكتوب مفصل.
هذه فرص وليست ضمانات. فلا يفيد الوسيط الإضافي إلا إذا احتوى على دليل ذي صلة وكان النموذج قادرًا على محاذاة ذلك الدليل بصورة صحيحة. وقد تؤدي المدخلات المتعارضة أو منخفضة الجودة إلى أخطاء جديدة.
مفاهيم خاطئة شائعة
«متعدد الوسائط» يعني أنه يستطيع فعل كل شيء بكل نوع من الوسائط
لا. للقدرة جانبان: ما يمكن إدخاله وما يمكن إخراجه. تحقق من الوسائط المدعومة في كل اتجاه، ومن أي قيود على دمجها في طلب واحد.
أي مولّد للصور هو نموذج عام متعدد الوسائط
يحوّل نموذج النص إلى صورة من وسيط إلى آخر، ولذلك يُعد متعدد الوسائط وفق بعض التعريفات الواسعة. لكن هذا لا يعني أنه يستطيع فحص صورة، أو مقارنة صورتين، أو فهم الصوت، أو الاستدلال على مدخلات مختلطة. ويكون عقد المدخلات والمخرجات المحدد أكثر فائدة من التصنيف.
الذكاء الاصطناعي متعدد الوسائط والذكاء الاصطناعي التوليدي شيء واحد
إنهما يصفان محورين مختلفين. ينتج الذكاء الاصطناعي التوليدي محتوى جديدًا، بينما يعالج الذكاء الاصطناعي متعدد الوسائط أكثر من وسيط واحد أو يربط بينها. وقد يكون النظام كليهما، أو أحدهما فقط، أو لا يكون أيًّا منهما.
فالنموذج الذي يحلل صورة وقراءات مستشعرات لاختيار فئة سلامة ثابتة هو نموذج متعدد الوسائط، لكنه ليس بالضرورة توليديًا. ونموذج الكتابة النصي فقط توليدي لكنه أحادي الوسيط. وكثير من المساعدات الحالية يجمع بين الصفتين.
يجب أن يكون الذكاء الاصطناعي متعدد الوسائط نموذجًا موحدًا واحدًا
ليس دائمًا. قد يستخدم الباحثون المصطلح لنموذج واحد متعلَّم، بينما تستخدمه فرق المنتجات لنظام من مكونات مترابطة. اسأل أين تتفاعل الوسائط. فإذا أنتجت مكونات منفصلة إجابات بصورة مستقلة، واكتفى التطبيق بعرضها معًا، فليس من الضروري أن يكون النظام قد أجرى استدلالًا عابرًا للوسائط.
المزيد من الوسائط يحسن الدقة دائمًا
قد تساعد الأدلة الإضافية، لكنها قد تكون أيضًا غير ذات صلة أو مشوشة أو متناقضة. ويعتمد الأداء على جودة البيانات، والمحاذاة، والمهمة، وكيفية تدريب النموذج. ولا تُثبت الإجابة الواثقة أن النموذج ربط الوسائط بصورة صحيحة.
كيف يندرج الذكاء الاصطناعي متعدد الوسائط في النظام الأوسع
يمكن أن يظهر تعدد الوسائط على مستويات عدة:
- البيانات:تقترن أمثلة التدريب بوسائط مختلفة أو تتناوب بينها.
- النموذج:تعمل المكونات المتعلَّمة على محاذاة تمثيلات الوسائط ودمجها.
- التطبيق:يوجّه المنتج الملفات أو تدفقات المستشعرات أو مخرجات النماذج بين المكونات.
- الواجهة:يمكن للشخص التواصل عبر النص أو الكلام أو الصور أو الفيديو.
ينبغي ألا نختزل هذه المستويات في ادعاء واحد. فقد تخفي واجهة متعددة الوسائط مسارًا من نماذج متخصصة. وقد يوجد نموذج متعدد الوسائط خلف واجهة نصية فقط. وقد لا يدعم نموذج دُرِّب على صور ونصوص مقترنة إلا مهمة مطابقة ضيقة، لا محادثة مفتوحة.
عند تقييم منتج أو نموذج، استخدم ثلاثة أسئلة:
- ما الوسائط التي يمكنه قبولها في المهمة نفسها؟
- ما الوسائط التي يمكنه إنتاجها؟
- أين وكيف تتفاعل المعلومات من تلك الوسائط؟
تخبرك هذه الإجابات بأكثر مما يخبرك به وصف «متعدد الوسائط» وحده.
إلى أين تذهب بعد ذلك؟
استخدم ما نموذج الذكاء الاصطناعي؟ للتعرف إلى مفهوم النموذج على نحو أوسع، واستخدم ما الذكاء الاصطناعي التوليدي؟ للفصل بين القدرة على إنشاء المحتوى والقدرة على دمج الوسائط. وعند قراءة بطاقة نموذج أو صفحة منتج، اذكر مدخلاته ومخرجاته كلًّا على حدة، ثم ابحث عن دليل على أنه اختُبر في مهام تتطلب معلومات من أكثر من وسيط واحد.