بحث
العربية

كم شخصًا يمكنه استخدام روبوت دردشة للبحث في المستندات الداخلية على 1 وحدة GPU طراز L40S، بقياسات فعلية حسب النموذج والإعداد(zenn.dev)

startupxo ناقش

لغة الكتابة: الكوريةعرض بلغة الكتابة

ملخص مبسط

- قاس الكاتب بنفسه عدد الأشخاص الذين يمكنهم استخدام روبوت دردشة يبحث في المستندات الداخلية ويجيب منها في الوقت نفسه عند تشغيله على وحدة GPU واحدة (NVIDIA L40S 48GB). بلغ متوسط المدخلات نحو 7,050 رمز، وكانت المعايير ظهور أول رمز خلال 10 ثانية وسرعة لا تقل عن 20 رمز في الثانية. - تراوح عدد الأشخاص الذين استوفوا المعايير بين 1 و60 بحسب الإعداد. كان الأعلى 60 شخصًا مع Gemma 4 26B-A4B المضغوط إلى 4 بت والمشغّل على vLLM، وكان الأدنى 1 شخصًا مع Qwen3.8-27B المشغّل على llama.cpp. - عند الضغط إلى 4 بت على vLLM ازداد عدد الأشخاص وانخفض متوسط الدقة قليلًا. لم تنخفض مهمة نسخ أسعار الوحدة من مواد طويلة، لكن في حساب المجموع شاملًا الضريبة أصابت كل الإعدادات 0 فقط من 50 أسئلة. - عند وضع نموذج التضمين الخاص بالبحث على وحدة GPU نفسها استوفى النظام المعايير عند البحث عن الأسئلة فقط. وعند تشغيل تضمين المستندات باستمرار انخفضت سرعة الإخراج بمقدار 41 إلى 46%، ولم يستوفِ حتى 1 شخص المعايير. القيود: 2 نماذج، و1 وحدة GPU، وقياس الدقة 1 مرة لكل إعداد.

قراءة المصدر ↗

وجدناه على

Zenn ↗ / نشره المصدر

هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.

سجل الدخول للتعليق

اختصارات لوحة المفاتيح

اختر منشورا بالمفتاحين J وK أو بسهمي الأعلى والأسفل ثم اضغط Enter.

K ↑ / J ↓
المنشور السابق / التالي
Enter C
فتح ملخص المنشور المحدد وتعليقاته
O
فتح الرابط الأصلي للمنشور المحدد
/
البحث
?
عرض هذه المساعدة
Tab
انتقل إلى زر النشر أو التعليق ثم اضغط Enter

اكتب كالمعتاد في حقول النص. يظل Tab وEnter متاحين دائما.