الرموز المميزة ليست وحدة عالمية للغة. إنها طريقة خاصة بكل نموذج لتحويل النص إلى سلسلة من المدخلات المرقّمة التي يستطيع النموذج معالجتها.
الرمز المميز هو مدخل في جدول ترميز
تخيّل أن مُجزِّئ الرموز المميزة هو جدول ترميز مشترك بين البرنامج الذي يجهّز النص والنموذج اللغوي الكبير (LLM) الذي يعالجه. يحتوي جدول الترميز على سلاسل نصية أو سلاسل بايتات مسموح بها، ويُسنِد إلى كل منها معرّفًا صحيحًا.
لنفترض أن مُجزِّئ رموز مميز توضيحيًا يقسّم العبارة:
The cat sat.
إلى:
The | cat | sat | .
قد تُطابِق هذه الأجزاء الظاهرة معرّفات مثل:
[814, 3290, 7112, 13]
الأرقام هنا افتراضية لتوضيح الآلية. تعتمد المعرّفات والحدود الفعلية على مُجزِّئ الرموز المميزة. قد تُجمَع المسافة البادئة مع الكلمة التالية، ولذلك قد يكون cat و cat مدخلين مختلفين.
في الشروحات اليومية، قد تعني كلمة رمز مميز الجزء الظاهر أو معرّفه. والتمييز مهم: يستقبل النموذج المعرّفات، لا سلاسل نصية صغيرة قابلة للقراءة. يختار كل معرّف تمثيلًا عدديًا متعلّمًا أوليًا يمكن للنموذج العمل به.
لماذا تستخدم النماذج أجزاءً أصغر من الكلمات؟
ستحتاج مفردات الكلمات الكاملة إلى مدخل لكل اسم وتهجئة وتصريف ومصطلح تقني وكلمة جديدة قد يصادفها النموذج. وستكون أي كلمة غير موجودة مجهولة.
تتجنب مفردات المحارف فقط الكلمات المجهولة، لكنها تحوّل النص العادي إلى سلاسل أطول بكثير. ويزيد ذلك عدد الخطوات التي يتعين على النموذج معالجتها.
تجزئة الكلمات الفرعية حلّ وسط. يمكن أن تحصل السلاسل المتكررة على مداخل خاصة بها، بينما يمكن تركيب الكلمات النادرة من مداخل أصغر. قد تكون الكلمة الشائعة رمزًا مميزًا واحدًا، أما الاسم النادر فقد يتحول إلى عدة أجزاء. وقد تكون علامات الترقيم والمسافات رموزًا مميزة أو أجزاءً من رموز مميزة أيضًا.
تُختار الأجزاء لتوفير تغطية مفيدة وتسلسلات موجزة، لا لأن لكل جزء منها معنى معجميًا مستقلًا. فجزء مثل ment أو كلمة مسبوقة بمسافة أو سلسلة من البايتات يُعد رمزًا مميزًا صالحًا إذا كان موجودًا في مفردات مُجزِّئ الرموز المميزة.
كيف تعمل تجزئة الرموز المميزة؟
تختلف الإجراءات الدقيقة، لكن المسار عبر نموذج نصي يتخذ الشكل العام نفسه:
text
↓
model-specific tokenizer
↓
token pieces
↓
integer token IDs
↓
language model
↓
next token ID
↓
tokenizer decoder
↓
generated textأولًا، يطبّق مُجزِّئ الرموز المميزة قواعده الثابتة على المُدخل. وبحسب تصميمه، قد يطبّع النص، أو يجري تقسيمًا أوليًا، ثم يجزّئه باستخدام خوارزمية مثل BPE أو Unigram أو WordPiece.
بعد ذلك، يبحث عن كل جزء ناتج في مفرداته ويُصدر المعرّف المقابل. وقد يضيف أيضًا معرّفات خاصة لأغراض مثل تحديد الحدود أو بنية الطلب. ولا تظهر هذه الرموز المميزة الخاصة بالضرورة في النص المرئي.
يعالج النموذج معرّفات المُدخل. وعند إنشاء النص، يُسنِد احتمالات إلى معرّفات الرموز المميزة التالية الممكنة، ويختار أحدها وفق إعدادات فك الترميز. ينضم المعرّف الجديد إلى السلسلة وتتكرر العملية. وأخيرًا، يحوّل فك الترميز المعرّفات المُنشأة إلى بايتات أو نص.
تكون تجزئة الرموز المميزة قابلة للعكس عادةً بالنسبة إلى سلسلة كاملة وصالحة: إذ تؤدي عملية فك ترميز المعرّفات إلى إعادة إنتاج النص. لكن الرمز المميز الفردي لا يُفك ترميزه دائمًا إلى محرف قابل للقراءة بمفرده، لا سيما مع مُجزِّئات الرموز المميزة على مستوى البايت. فقد يلزم جمع الرموز المميزة المتجاورة أولًا.
قد يكون للكلمة الواحدة أعداد مختلفة من الرموز المميزة
لا يوجد تحويل دقيق من الكلمات إلى الرموز المميزة.
في مثال على مُجزِّئ الرموز المميزة من OpenAI، تُقسَّم الكلمة antidisestablishmentarianism في أحد الترميزات إلى خمسة رموز مميزة:
ant | idis | establishment | arian | ism
ويقسّمها ترميز آخر إلى ستة رموز:
ant | idis | establish | ment | arian | ism
لا يغيّر أي من التقسيمين التهجئة، ولا يثبت أي منهما أن نموذجًا ما يفهم الكلمة على نحو أفضل. فلكل ترميز مفردات وقواعد تجزئة مختلفة.
تختلف الأعداد أيضًا باختلاف اللغة والمسافات وعلامات الترقيم والبرمجة والرموز التعبيرية وتسلسلات المحارف غير المعتادة. وقد يغيّر تعديل صغير حتى الحدود المحيطة به. يمكن أن تساعد المتوسطات التقريبية في إعداد تقدير أولي، لكن العدد الموثوق الوحيد يأتي من مُجزِّئ الرموز المميزة أو نقطة النهاية الخاصة بالعدّ للنموذج والطلب الكامل اللذين ستستخدمهما.
لماذا تهم الرموز المميزة؟
إنها تحدد مقدار ما يتسع له النموذج. تُقاس نافذة سياق النموذج بالرموز المميزة، لا بالكلمات. ويتنافس المُدخل والرسائل السابقة والمخرجات المُنشأة وأحيانًا محتوى آخر من الطلب على هذه السعة وفق قواعد موفّر الخدمة.
إنها تقيس الاستخدام. تعرض كثير من واجهات برمجة تطبيقات الذكاء الاصطناعي وتحسب تكلفة رموز المُدخل المميزة ورموز المُخرج المميزة بشكل منفصل. وتختلف الأسعار والفئات، ولذلك لا يمثل عدد الرموز المميزة وحده تكلفةً.
إنها تؤثر في وقت الإنشاء.يُنشأ النص رمزًا مميزًا تلو الآخر. وتتطلب المخرجات الأطول عمومًا خطوات إنشاء أكثر، رغم أن زمن الاستجابة الكلي يعتمد أيضًا على النموذج والعتاد وحِمل النظام ومعالجة المُدخل.
إنها تشكّل كفاءة النص.قد تستهلك سلسلتان متقاربتان في الطول المقروء بشريًا عددًا مختلفًا من الرموز المميزة. ويهم ذلك عندما يتعامل تطبيق ما مع لغات متعددة أو شيفرة مصدرية أو بيانات منظّمة أو معرّفات غير معتادة.
إنها تصل مُجزِّئ الرموز المميزة بالنموذج.يتعلم النموذج باستخدام تعيين محدد من المعرّفات إلى مداخل المفردات. واستبدال مُجزِّئ الرموز المميزة بآخر غير مرتبط ليس تغييرًا شكليًا؛ فقد يشير المعرّف نفسه إلى جزء مختلف، وبالتالي سيتلقى النموذج التمثيل المتعلّم الخاطئ.
مفاهيم خاطئة شائعة
الرمز المميز الواحد هو كلمة واحدة
قد تكون الكلمة القصيرة والشائعة رمزًا مميزًا واحدًا أحيانًا. لكن الرمز المميز قد يكون أيضًا جزءًا من كلمة، أو علامة ترقيم، أو جزءًا يتضمن مسافة، أو محرفًا، أو سلسلة بايتات. تعامل مع أي رقم لعدد الرموز المميزة لكل كلمة على أنه تقدير لنوع محدد من النص.
توضح حدود الرموز المميزة ما يعتقد النموذج أن المفهوم يعنيه
تأتي حدود الرموز المميزة من مفردات مُجزِّئ الرموز المميزة وقواعد التجزئة. وهي لا تمثل خريطة لمفاهيم النموذج. فالكلمة المقسمة إلى أربعة رموز مميزة لا تعني بالضرورة أربع أفكار، والعبارة المخزنة في رمز مميز واحد لا تكون بالضرورة مفهومة بوصفها فكرة واحدة غير قابلة للتجزئة.
تعدّ جميع النماذج النص نفسه بالطريقة ذاتها
تنتج المفردات المختلفة حدودًا وأعدادًا مختلفة. وحتى النماذج التابعة لموفّر واحد قد تستخدم ترميزات مختلفة. احسب العدد باستخدام واجهة النموذج المحدد بدلًا من إعادة استخدام عدد مأخوذ من نموذج آخر.
يُحتسب النص الذي كتبته فقط
قد يتضمن طلب واجهة برمجة التطبيقات تعليمات النظام وسجل المحادثة وتعريفات الأدوات وتمثيلات الملفات أو الصور والتنسيق الذي تضيفه الخدمة. وقد يسهم بعض ذلك في عدد الرموز المميزة رغم أنه غير ظاهر في واجهة الدردشة النهائية. استخدم تقرير الاستخدام الخاص بموفّر الخدمة أو أداة عدّ الطلب الكامل عندما يكون العدد الدقيق مهمًا.
المزيد من الرموز المميزة يعني مزيدًا من المعنى
يقيس عدد الرموز المميزة طول تمثيل النموذج، لا مقدار المعلومات أو جودتها. فقد يستخدم النص المتكرر رموزًا مميزة كثيرة، بينما قد تستخدم صيغة موجزة عددًا قليلًا من الرموز المميزة مع حملها معنى كبيرًا.
الرموز المميزة للذكاء الاصطناعي هي رموز العملات المشفرة
يشترك النوعان في الاسم لا في الآلية. فرمز النص المميز هو وحدة في مفردات النموذج، أما رمز العملة المشفرة فهو أصل رقمي أو سجل على سلسلة الكتل.
كيف تندرج الرموز المميزة في النظام الأوسع؟
تُحدَّد مفردات مُجزِّئ الرموز المميزة عادةً قبل تدريب نموذج اللغة. ويُحوَّل نص التدريب إلى معرّفات باستخدام ذلك المُجزِّئ، ثم يتعلم النموذج الأنماط عبر تلك المعرّفات. وأثناء الاستدلال، يحوّل التعيين نفسه مطالبة جديدة إلى معرّفات مُدخل ويحوّل المعرّفات المُنشأة مرة أخرى إلى نص.
يجعل ذلك مُجزِّئ الرموز المميزة جزءًا من النموذج، حتى عندما يُوزَّع في ملف أو مكتبة منفصلة. يجب أن يتوافق النموذج والمفردات وقواعد المُجزِّئ وتعريفات الرموز المميزة الخاصة.
يمكن أيضًا استخدام كلمة رمز مميز على نطاق أوسع في الأنظمة متعددة الوسائط. فقد يحوّل موفّر الخدمة أجزاء الصور أو فترات الصوت أو إطارات الفيديو إلى وحدات يبلّغ عنها بوصفها رموزًا مميزة. وتؤدي هذه الوحدات دورًا مشابهًا في معالجة النموذج والمحاسبة، لكنها ليست أجزاءً ينتجها مُجزِّئ نصوص.
ما الذي ينبغي قراءته بعد ذلك؟
اقرأ ما نافذة السياق؟ لمعرفة كيفية تحديد الرموز المميزة لحد النموذج العملي. ولمعرفة فئات استخدام واجهة برمجة التطبيقات، انتقل إلى رموز المُدخل مقابل رموز المُخرج مقابل رموز الاستدلال.