- DeepInfer برنامج يسرّع عملية تلقي النموذج الذكي للسؤال وإنتاج الإجابة. يذكر النص الأصلي أن ديب سيك تستخدمه محركا لخدمتها الإنتاجية واسعة النطاق.
- يركز هذا الإصدار على الاستدلال غير المتصل. وبحسب النص الأصلي، لا يشمل هذا الإصدار نظام ذاكرة KV، ولا فصل مرحلتي prefill وdecode، ولا موازنة الحمل بين نسخ التوازي في البيانات، وهي عناصر يحتاجها الخدمة الكاملة.
- بيئة التحضير المذكورة في النص الأصلي هي Linux وGCC 13 أو أحدث وPython 3.12. تتطلب وحدات GPU من NVIDIA الإصدار CUDA 13، وتتطلب وحدات NPU من Ascend التابعة لهواوي الإصدار CANN 9.2. يذكر النص الأصلي أن الأجهزة المدعومة هي وحدات GPU من NVIDIA من طراز SM100 ووحدات NPU من Ascend من طراز 950.
- تشير أرقام الأداء في ملف README إلى أنها قيست باستخدام 4 وحدة GPU من طراز SM100 لمرحلة prefill و64 وحدة GPU لمرحلة decode ضمن مجموعة الربط عالية السرعة نفسها. وهذه نتائج أعلنها فريق التطوير الذي نشر المستودع، ولم يتأكد النص الأصلي من التحقق المستقل من 3 طرف.
O: قد يكون هذا مفيدًا لمسؤولي البنية التحتية الذين يشغّلون خوادم تضم 4 معالج رسومي أو أكثر ويريدون نشر نماذج من عائلة DeepSeek ذاتيًا. يمكنهم على أجهزة مُعدّة تشغيل مثال الاستدلال دون اتصال الموجود في المستودع مرة واحدة للتحقق من أن البيئة تستوفي المتطلبات.
X: أرقام الأداء هي نتائج قياس أعلنها فريق التطوير الذي نشر المستودع. ويذكر النص الأصلي أن الاستدلال الثابت للدفعات وأخذ العينات الحتمي متاحان فقط في بيئات NVIDIA، لذا يجب إعادة إنتاجهما مباشرة في البيئة الخاصة بكم.