أثناء الاستدلال، قد يُرجع النموذج نتيجة واحدة، مثل درجة احتيال، أو يبث النتيجة جزءاً تلو الآخر، مثل النص المُولَّد. عادةً ما تكون لنبوءة واحدة نقطة اكتمال واضحة. أما الاستجابة المُبثّة فلا تكون كذلك: إذ يصل أول مخرج مرئي والاستجابة المكتملة في وقتين مختلفين.
كيفية قياس زمن استجابة الاستدلال
ابدأ بتحديد حدّ القياس.
يغطي زمن استجابة النموذج
يمكن أن يضيف زمن استجابة الخدمة
يُقاس زمن الاستجابة من طرف إلى طرف
هذه التسميات ليست موحّدة تماماً. فقد يشمل «زمن استجابة النموذج» في منصة ما عملاً تسجله منصة أخرى باعتباره حملاً إضافياً. ولذلك تُعد الطوابع الزمنية جزءاً من التعريف. إن عبارة «من إرسال العميل إلى تلقّي الاستجابة النهائية» قابلة للمقارنة؛ أما عبارة «كان زمن الاستجابة 800 مللي ثانية» فليست كذلك.
بالنسبة إلى نموذج لغوي يبث النص، يمكن أن يتوقف المؤقت أيضاً عند أحداث مخرجات مختلفة:
- الزمن حتى أول رمز (TTFT)ينتهي عند تلقّي أول رمز من رموز المخرج. وهو يقيس مدى سرعة بدء ظهور الاستجابة.
- زمن استجابة الطلب من طرف إلى طرف، ويُسمّى أحياناً الزمن حتى آخر رمز، ينتهي عند تلقّي الاستجابة المكتملة.
- زمن ما بين الرموز (ITL)يقيس الفواصل بين رموز المخرج المتتالية بعد بدء التوليد. وتسمّيه بعض الأدوات متوسط الزمن لكل رمز مخرج.
وفق اصطلاح شائع:
زمن الاستجابة من طرف إلى طرف = TTFT + زمن التوليد
إذا احتوت الاستجابة على n output tokens, its mean inter-token latency after the first token is:
(زمن الاستجابة من طرف إلى طرف - TTFT) / (n - 1)
المقام هو n - 1 لأن n من الرموز تتضمن هذا العدد من الفواصل بعد الرمز الأول. تحقّق من تعريف الأداة قبل مقارنة النتائج. فبعض الأدوات تدرج وقت الانتظار حتى الرمز الأول في متوسط الزمن لكل رمز، بينما تستبعده أدوات أخرى.
مثال تطبيقي
لنفترض أن عميلاً سجّل الطوابع الزمنية التالية لاستجابة مُبثّة افتراضية:
- إرسال الطلب:
0 مللي ثانية - تلقّي أول رمز مخرج:
450 مللي ثانية - تلقّي آخر رمز مخرج:
1,400 مللي ثانية - طول المخرج:
20 رمزاً
يبلغ TTFT المرصود من العميل 450 مللي ثانية. ويبلغ زمن الاستجابة من طرف إلى طرف 1,400 مللي ثانية. يستغرق التوليد بعد الرمز الأول 950 مللي ثانية، موزعة على 19 فاصلاً بين الرموز:
950 مللي ثانية / 19 = 50 مللي ثانية
لذلك يتضمن الطلب نفسه زمناً قدره 450 مللي ثانية حتى الرمز الأول، ومتوسط زمن قدره 50 مللي ثانية بين الرموز، وزمن إكمال قدره 1.40 ثانية. ولا يحل أيٌّ من هذه الأرقام محل الأرقام الأخرى.
لنفترض الآن أن خادم النموذج أبلغ عن 720 مللي ثانية من العمل داخل حاوية النموذج. لا يثبت ذلك أن الـ680 مللي ثانية المتبقية كانت تأخيراً شبكياً. فقد يغطي مؤقتا العميل والخادم مراحل متداخلة أو محددة بطرق مختلفة. ولتفسير الفجوة، تحتاج إلى طوابع زمنية متزامنة للانتظار في الطوابير، والمعالجة المسبقة، وتنفيذ النموذج، والمعالجة اللاحقة، ونقل البيانات عبر الشبكة.
ما الذي يغيّر زمن استجابة الاستدلال؟
زمن الاستجابة نتيجة اختبار كامل، وليس خاصية ثابتة للنموذج. ويتغير مع:
- شكل المدخل وحجمه.قد يتطلب المزيد من المدخلات مزيداً من المعالجة المسبقة والعمل الذي ينفذه النموذج.
- شكل المخرج وحجمه.تتطلب الاستجابة المُولَّدة الأطول مزيداً من خطوات التوليد المتسلسلة.
- حركة المرور والتزامن.قد تنتظر الطلبات توافر السعة عندما تستخدم أعمال أخرى موارد التقديم نفسها.
- التجميع والجدولة.يمكن أن يؤدي تجميع الطلبات إلى تحسين كفاءة النظام الكلية، مع جعل الطلب الفردي ينتظر.
- العتاد وبرمجيات التقديم.تؤثر المسرّعات، والدقة العددية، ونقل الذاكرة، والنوى البرمجية، ومحركات الاستدلال في زمن التنفيذ.
- الحالة الدافئة أو الباردة.قد يكون الطلب أبطأ إذا لم تكن الشيفرة أو بيانات النموذج أو ذاكرات التخزين المؤقت جاهزة.
- مراحل التطبيق.يمكن أن تضيف عملية الاسترجاع، وفحوصات السلامة، والأدوات، والمعالجة اللاحقة تأخيراً مرئياً للمستخدم خارج النموذج.
- الشبكة وموقع العميل.لا يتضمن الاختبار المعياري من جهة الخادم كل قفزة تراها الجهة البعيدة المستخدمة.
بالنسبة إلى النص المُولَّد، يميل طول المدخل إلى التأثير في الانتظار قبل بدء ظهور المخرج، بينما يؤثر طول المخرج بقوة في وقت انتهاء الاستجابة. ويمكن للبث أن يجعل الواجهة تبدو سريعة الاستجابة عبر إظهار المخرج الجزئي في وقت أبكر، لكنه لا يضمن بحد ذاته انخفاض زمن الإكمال.
لماذا لا يكفي المتوسط؟
تتعامل خدمة الإنتاج مع طلبات بأحجام مختلفة وتحت حمل متغير. ويؤدي متوسط واحد إلى ضغط هذا التوزيع وإخفاء الطلبات ذات فترات الانتظار الأطول.
غالباً ما يُبلَّغ عن زمن الاستجابة باستخدام النسب المئوية. ويكون زمن الإكمال عند p95 هو القيمة التي اكتملت عندها 95% من الطلبات المقاسة أو قبلها. أما نسبة 5% المتبقية فقد استغرقت وقتاً أطول. وتصف p50 الطلب الأوسط، بينما تكشف p95 أو p99 المزيد من الذيل البطيء.
ومع ذلك، تحتاج كل نسبة مئوية مُبلَّغ عنها إلى سياق. ويجب، كحد أدنى، وسم النتيجة بـ:
- الحد:من العميل إلى أول رمز، أو من العميل إلى النتيجة النهائية، أو فترة محددة من جهة الخادم.
- عبء العمل:النموذج، وتوزيع المدخلات، وتوزيع المخرجات، وإعدادات الطلب.
- الحمل:التزامن أو نمط وصول الطلبات.
- الإحصاء:p50 أو p95 أو p99 أو المتوسط أو قيمة كل طلب.
على سبيل المثال، يُعد «زمن الاستجابة p95 من العميل إلى النتيجة النهائية لعبء العمل هذا عند 20 طلباً متزامناً» قياساً صالحاً للاستخدام. أما الرقم الأقل الناتج عن مزيج مختلف من المطالبات أو عن حمل طلب واحد، فلا يُعد دليلاً على أن نظام الإنتاج أسرع.
لماذا يهم زمن استجابة الاستدلال؟
يحدد زمن الاستجابة مدة انتظار الطلب الواحد. وتعتمد نقطة التوقف المناسبة على المنتج.
قد تهتم الواجهة التفاعلية أكثر بالمخرج المرئي الأول. بينما يهتم المصنّف الذي يعمل في الخلفية بالتنبؤ المكتمل. ولا يستطيع النظام متعدد الخطوات بدء خطوته التالية المعتمدة حتى تكتمل النتيجة السابقة، ولذلك يمكن أن يتراكم زمن الإكمال عبر التسلسل.
يتفاعل زمن الاستجابة أيضاً مع معدل النقل، الذي يقيس مقدار العمل الذي يكمله النظام خلال فترة زمنية. وقد يؤدي رفع حجم الدفعة أو التزامن إلى زيادة معدل النقل الكلي مع زيادة وقت انتظار كل طلب. لذلك يمكن للنظام معالجة عدد أكبر من الرموز إجمالاً في الثانية، ومع ذلك يبدو أبطأ للمستخدم الفرد.
مفاهيم خاطئة شائعة
«زمن استجابة الاستدلال» يعني دائماً زمن تنفيذ النموذج.ليس بالضرورة. يُستخدم المصطلح أيضاً للتوقيت على مستوى الخدمة والتوقيت المرصود من العميل. ابحث عن حد القياس.
الزمن حتى أول رمز هو زمن استجابة الاستجابة.إنه إحدى مراحل الاستجابة. فقد يتبع الرمز الأول السريع توليد طويل.
يجعل البث انتهاء الاستدلال أسرع.يغيّر البث توقيت تسليم النتائج الجزئية. وقد يحسّن سرعة الاستجابة المتصوَّرة حتى لو وصلت النتيجة النهائية في الوقت نفسه.
للنموذج رقم واحد لزمن الاستجابة.تعتمد النتيجة على المدخلات، والمخرجات، والحمل، والعتاد، والبرمجيات، والإحصاء المُبلَّغ عنه.
يعني ارتفاع إجمالي الرموز في الثانية انخفاض زمن الاستجابة.قد يتحرك معدل النقل الإجمالي ووقت الانتظار لكل طلب في اتجاهين متعاكسين.
إلى أين تذهب بعد ذلك؟
استخدم الزمن حتى أول رمز عندما يكون بدء الاستجابة المُبثّة مهماً. واستخدم الرموز في الثانية لوصف وتيرة التوليد، ومعدل نقل الاستدلال لوصف سعة التقديم الكلية. وللاطلاع على تمييز جنباً إلى جنب، راجع زمن الاستجابة مقابل TTFT مقابل الرموز في الثانية مقابل معدل النقل.