وهي مقياس لسعة النظام، ولا تخبرك بمدى سرعة بدء طلب واحد أو اكتماله.
كيفية عمل إنتاجية الاستدلال
الحساب الأساسي هو:
الإنتاجية = العمل المكتمل ÷ الزمن المنقضي
كلمة «العمل» مهمة. فبالنسبة إلى مصنّف الصور، قد تعني الصور التي عولجت. أما بالنسبة إلى نموذج لغوي، فقد تعني الطلبات المكتملة أو الرموز المميزة التي عولجت. ولا معنى لنتيجة مثل «2,000 في الثانية» قبل معرفة ما الذي جرى عَدّه.
تحتاج إنتاجية الرموز المميزة إلى تسمية إضافية. فإنتاجية رموز الإدخال تقيس معالجة المطالبة. وإنتاجية رموز الإخراج تقيس الرموز المولَّدة. أما إنتاجية الرموز الإجمالية فتجمع بين الاثنين. وتصف هذه المعدلات أعمالًا مختلفة، ولا ينبغي مقارنتها كما لو كانت المقياس نفسه.
حدود القياس مهمة أيضًا. فقد تغطي النتيجة مسرّعًا واحدًا، أو خادمًا واحدًا، أو عملية نشر كاملة تضم نسخًا متماثلة عديدة. ويمكن أن تساعد قسمة نتيجة النشر الكاملة على عدد المسرّعات في مقارنة السعة لكل مسرّع، ولكن فقط عندما يكون النموذج وحِمل العمل متماثلين فيما عدا ذلك.
ترتفع الإنتاجية عادةً مع تشغيل مزيد من الطلبات بالتزامن. إذ يستطيع نظام الخدمة تجميع العمل معًا، مستفيدًا من قدر أكبر من العتاد في كل خطوة معالجة. وبالنسبة إلى النماذج اللغوية، يمكن للتجميع المستمر أن يستبدل التسلسل المكتمل بتسلسل منتظر بدلًا من إبقاء الدفعة بأكملها حتى ينتهي أطول تسلسل فيها.
لكن لهذا التحسن حدًّا. فعندما تصل قدرة الحوسبة أو الذاكرة أو مورد مشترك آخر إلى حد الإشباع، تنتظر الطلبات الإضافية في طابور. وقد يستمر معدل الوصول في الارتفاع، لكن معدل الإكمال يتوقف عن الارتفاع معه. وعندئذ يزداد زمن الاستجابة حتى إذا تغيّرت الإنتاجية الخام تغيرًا طفيفًا.
ولهذا السبب تكون نتيجة السعة المفيدة غالبًا الإنتاجية المستدامة ضمن هدف لزمن الاستجابة. يزيد الاختبار المعياري الحمل، ويقيس العمل المكتمل، ويتحقق من استمرار الالتزام بحدود زمن الاستجابة. ويكون آخر حمل ناجح أكثر فائدة لتخطيط خدمة عبر الإنترنت من ذروة غير مقيّدة.
مثال تطبيقي
لنفترض أن اختبارًا معياريًا يرسل المزيج نفسه من المطالبات إلى خادم نموذج واحد لمدة 60 ثانية. يُكمل الخادم 1,200 طلب ويولّد 180,000 رمز مميز من رموز الإخراج.
- إنتاجية الطلبات:
1,200 ÷ 60 = 20 طلبًا في الثانية - إنتاجية رموز الإخراج:
180,000 ÷ 60 = 3,000 رمز إخراج في الثانية
هاتان طريقتان لعرض التشغيل نفسه. يساعد معدل الطلبات في تقدير عدد التفاعلات التي يستطيع الخادم إكمالها. أما معدل الرموز فيلتقط الاختلافات في طول الاستجابة التي يخفيها عدّ الطلبات.
لنرفع الآن الحمل المقدَّم إلى 30 طلبًا في الثانية. يُكمل الخادم 22 طلبًا في الثانية، لكن يدخل ثمانية طلبات إضافية كل ثانية إلى الطابور، ولا يتحقق هدف زمن الاستجابة. الحمل المقدَّم هو 30 طلبًا في الثانية. أما إنتاجية الإكمال المرصودة فهي 22 طلبًا في الثانية. ولا يثبت أيٌّ منهما أن الخدمة تستطيع التعامل مع 30 طلبًا في الثانية بصورة مستدامة.
إذا كان 20 طلبًا في الثانية هو أعلى حمل اختُبر مع بقاء الطابور مستقرًا وتحقيق هدف زمن الاستجابة، فإن 20 هو رقم السعة القابل للدفاع عنه لذلك الحِمل والهدف.
لماذا تُعدّ إنتاجية الاستدلال مهمة؟
تُخبر الإنتاجية المشغّل بكمية العتاد اللازمة لتلبية الطلب المتوقع. كما تدعم مقاييس التكلفة، مثل عدد الطلبات المكتملة لكل دولار أو عدد رموز الإخراج لكل ساعة-مسرّع.
بالنسبة إلى المهام غير المتصلة بالإنترنت، يمكن أن تؤدي الإنتاجية الأعلى إلى تقصير فترة المعالجة الإجمالية. أما بالنسبة إلى خدمة عبر الإنترنت، فتمنع الإنتاجية الكافية تراكم الطلبات الواردة بوتيرة أسرع من قدرة النظام على إكمالها.
يعتمد الهدف على المنتج. فقد يقبل خط أنابيب دفعي فترات انتظار طويلة لتعظيم إجمالي العمل. بينما يحتاج تطبيق تفاعلي إلى إنتاجية كافية مع الحفاظ على سرعة استجابة الطلبات الفردية. ويحصي مقياس أكثر صرامة يُسمّى الإنتاجية المفيدة العمل الذي يحقق أيضًا أهداف زمن الاستجابة الخاصة بالخدمة.
مفاهيم خاطئة شائعة
الإنتاجية الأعلى تعني أن كل استجابة أسرع
ليس بالضرورة. فقد يؤدي تجميع مزيد من الطلبات إلى رفع إجمالي المخرجات عبر الخادم، بينما ينتظر كل طلب مدة أطول أو يتلقى الرموز بوتيرة أبطأ. تصف الإنتاجية النظام بأكمله، بينما يصف زمن الاستجابة وقت انتظار طلب فردي.
الرموز المميزة في الثانية تعني دائمًا الإنتاجية
يمكن أن تصف عبارة «الرموز المميزة في الثانية» إنتاجية الرموز الإجمالية أو معدل التوليد الذي يختبره مستخدم واحد. اسأل عمّا إذا كان الرقم يغطي طلبًا واحدًا أم جميع الطلبات المتزامنة، وما إذا كان يحصي رموز الإدخال أو الإخراج أو كليهما.
معدل الطلبات هو الإنتاجية
معدل الطلبات هو ما يصل، أما الإنتاجية فهي ما يكتمل. ولا يتقاربان إلا ما دام النظام قادرًا على مواكبة الطلبات. فإذا تجاوزت عمليات الوصول عمليات الإكمال، ينمو الطابور حتى تتأخر الطلبات أو تُرفض أو تُسقط.
يكفي رقم واحد للإنتاجية لمقارنة الأنظمة
تعتمد الإنتاجية على النموذج، وأحجام المدخلات والمخرجات، ونمط الدفعات أو التزامن، ونطاق العتاد، ونافذة القياس، وحدود زمن الاستجابة. وقد يتغير الرقم عند تغيير حِمل العمل حتى إذا لم يتغير النظام.
إلى أين تذهب بعد ذلك؟
اقرأ ما هو الاستدلال في الذكاء الاصطناعي؟لفهم العملية التي تقيس إنتاجية السعة الخاصة بها. وقارن ذلك مع زمن استجابة الاستدلال، الذي يتتبع وقت الانتظار، ومع الرموز المميزة في الثانية، الذي يصف غالبًا سرعة التوليد. وللاطلاع على التمييز الكامل، راجع زمن الاستجابة مقابل TTFT مقابل الرموز المميزة في الثانية مقابل الإنتاجية.