الاستدلال والتقديم

ماذا يحدث عند تشغيل النموذج: الاستدلال وزمن الاستجابة والإنتاجية والمعالجة الدفعية والبنية التحتية للتقديم خلف كل منتج ذكاء اصطناعي.

تعلّم

الاستدلال والتقديم

مقارنةزمن الاستجابة مقابل TTFT مقابل عدد الرموز في الثانية مقابل معدل المعالجةزمن الاستجابة هو المدة التي يستغرقها طلب استدلال واحد، وTTFT هو المدة التي يستغرقها طلب مُرسَل على نحو متدفق ليبدأ في تقديم الإجابة، وعدد الرموز في الثانية هو معدل قد يصف تدفقًا واحدًا أو نظامًا كاملًا، أما معدل المعالجة فهو مقدار العمل الإجمالي الذي يُنجزه النظام بمرور الوقت. ويتمثل أوضح تمييز في النطاق: إذ يقيس زمن الاستجابة وTTFT مدة الطلب، بينما يحسب معدل المعالجة العمل خلال نافذة قياس.
مفهومما الاستدلال في الذكاء الاصطناعي؟الاستدلال في الذكاء الاصطناعي هو عملية تشغيل نموذج مُدرَّب على مُدخل لإنتاج مُخرج، من دون تحديث ما تعلّمه النموذج. وهو مرحلة استخدام النموذج: تُدخَل صورة فتخرج تسمية، أو يُدخَل طلب فتخرج نصوص مُولَّدة.
مفهومما الزمن حتى أول رمز؟الزمن حتى أول رمز، أو TTFT، هو الوقت المنقضي بين بدء طلب إلى نموذج لغوي والحصول على أول رمز من استجابته. وهو يقيس فترة الانتظار الأولية، لا سرعة وصول بقية الاستجابة.
مفهومما المقصود بالتوكنات في الثانية؟تقيس التوكنات في الثانية (TPS أو tok/s) عدد التوكنات التي ينتجها نظام ذكاء اصطناعي خلال ثانية واحدة. وقد يصف هذا الرقم سرعة إخراج استجابة واحدة أو معدل التدفق المجمع لنظام تقديم كامل، ولذلك لا يكفي المصطلح وحده لتحديد المقصود.
مفهومما هو زمن استجابة الاستدلال؟زمن استجابة الاستدلال هو الوقت المنقضي بين تلقّي نظام الذكاء الاصطناعي لمدخل وإنتاج مخرج محدد. ولا يكون رقم زمن الاستجابة ذا معنى إلا إذا عرفت أين يبدأ المؤقت، وأين يتوقف، ونوع المخرج الذي يُعد مكتملاً.
مفهومما هي إنتاجية الاستدلال؟إنتاجية الاستدلال هي مقدار عمل النموذج الذي يُكمله نظام الاستدلال في وحدة زمنية، عبر جميع الطلبات التي يخدمها. ويمكن قياسها بعدد الطلبات المكتملة، أو عمليات الاستدلال، أو العينات، أو الرموز المميزة في الثانية.