بحث
العربية

كيفية تشغيل نماذج الذكاء الاصطناعي مباشرة على الحاسوب والمتصفح: سرعة التوليد يحددها عرض نطاق الذاكرة(zenn.dev)

startupxo ناقش

لغة الكتابة: الكوريةعرض بلغة الكتابة

ملخص مبسط

- النموذج في جوهره ملف يحتوي على عدد ضخم من الأرقام تسمى الأوزان. يمكنك اختيار تشغيله على السحابة أو على خادم داخلي أو على جهاز شخصي، وإذا شغّلته على جهازك فلن تخرج مدخلاتك من الجهاز. وبعد التنزيل الأول يمكن استخدامه دون اتصال. - سرعة توليد النص حرفًا بحرف يحددها عرض نطاق الذاكرة أكثر من أداء الحوسبة. وبحسب حساب الكاتب، بلغت قياسات llama.cpp الفعلية ما بين 6 و8 أعشار الحد الأقصى النظري، وهو عرض النطاق مقسومًا على حجم النموذج. وعند إدخال مستند طويل تكبر ذاكرة KV المؤقتة (مساحة لحفظ نتائج الحسابات السابقة) فتنخفض السرعة. - عند التكميم بدقة 4 بت (طريقة لتقليل حجم الأرقام بتقريبها تقريبًا خشنًا)، عُرضت أمثلة مثل Qwen3.5-4B لذاكرة GPU من فئة 8GB وQwen3.6-27B لفئة 24GB. وقارنت Epoch AI فوجدت أن أفضل نموذج يعمل على 1 بطاقات RTX 5090 يتأخر عن النموذج الأعلى مستوى بمتوسط 6 إلى 12 أشهر. - في المتصفح يمكن تشغيل النماذج باستخدام WebLLM المبني على WebGPU وwllama، وهو نسخة llama.cpp للمتصفح. ويشرح الكاتب أن النماذج الصغيرة يمكن استخدامها في التصنيف بقراءة احتمالات الخيارات فقط دون كتابة نص، أو تهيئتها لغرض معين بالتقطير وLoRA (طريقة لتدريب جزء من الأوزان فقط تدريبًا إضافيًا).

قراءة المصدر ↗

وجدناه على

Zenn ↗ / نشره المصدر

هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.

سجل الدخول للتعليق

اختصارات لوحة المفاتيح

اختر منشورا بالمفتاحين J وK أو بسهمي الأعلى والأسفل ثم اضغط Enter.

K ↑ / J ↓
المنشور السابق / التالي
Enter C
فتح ملخص المنشور المحدد وتعليقاته
O
فتح الرابط الأصلي للمنشور المحدد
/
البحث
?
عرض هذه المساعدة
Tab
انتقل إلى زر النشر أو التعليق ثم اضغط Enter

اكتب كالمعتاد في حقول النص. يظل Tab وEnter متاحين دائما.