كم شخصًا يمكنه استخدام روبوت دردشة للبحث في المستندات الداخلية على 1 وحدة GPU طراز L40S، بقياسات فعلية حسب النموذج والإعداد(zenn.dev)
لغة الكتابة: الكوريةعرض بلغة الكتابة
ملخص مبسط
- قاس الكاتب بنفسه عدد الأشخاص الذين يمكنهم استخدام روبوت دردشة يبحث في المستندات الداخلية ويجيب منها في الوقت نفسه عند تشغيله على وحدة GPU واحدة (NVIDIA L40S 48GB). بلغ متوسط المدخلات نحو 7,050 رمز، وكانت المعايير ظهور أول رمز خلال 10 ثانية وسرعة لا تقل عن 20 رمز في الثانية.
- تراوح عدد الأشخاص الذين استوفوا المعايير بين 1 و60 بحسب الإعداد. كان الأعلى 60 شخصًا مع Gemma 4 26B-A4B المضغوط إلى 4 بت والمشغّل على vLLM، وكان الأدنى 1 شخصًا مع Qwen3.8-27B المشغّل على llama.cpp.
- عند الضغط إلى 4 بت على vLLM ازداد عدد الأشخاص وانخفض متوسط الدقة قليلًا. لم تنخفض مهمة نسخ أسعار الوحدة من مواد طويلة، لكن في حساب المجموع شاملًا الضريبة أصابت كل الإعدادات 0 فقط من 50 أسئلة.
- عند وضع نموذج التضمين الخاص بالبحث على وحدة GPU نفسها استوفى النظام المعايير عند البحث عن الأسئلة فقط. وعند تشغيل تضمين المستندات باستمرار انخفضت سرعة الإخراج بمقدار 41 إلى 46%، ولم يستوفِ حتى 1 شخص المعايير. القيود: 2 نماذج، و1 وحدة GPU، وقياس الدقة 1 مرة لكل إعداد.
وجدناه على
Zenn ↗ / نشره المصدر
هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.