# كيفية تشغيل نماذج الذكاء الاصطناعي مباشرة على الحاسوب والمتصفح: سرعة التوليد يحددها عرض نطاق الذاكرة

- Link: https://zenn.dev/port_inc/articles/ff974c7456f4db
- Discussion: https://startupxo.com/ar/1408/
- Posted by startupxo at 2026-11-17T12:28:20.676Z
- 0 points, 0 comments, kind story, origin curated
- Written in ko, machine translated to ar

## Summary

- النموذج في جوهره ملف يحتوي على عدد ضخم من الأرقام تسمى الأوزان. يمكنك اختيار تشغيله على السحابة أو على خادم داخلي أو على جهاز شخصي، وإذا شغّلته على جهازك فلن تخرج مدخلاتك من الجهاز. وبعد التنزيل الأول يمكن استخدامه دون اتصال.
- سرعة توليد النص حرفًا بحرف يحددها عرض نطاق الذاكرة أكثر من أداء الحوسبة. وبحسب حساب الكاتب، بلغت قياسات llama.cpp الفعلية ما بين 6 و8 أعشار الحد الأقصى النظري، وهو عرض النطاق مقسومًا على حجم النموذج. وعند إدخال مستند طويل تكبر ذاكرة KV المؤقتة (مساحة لحفظ نتائج الحسابات السابقة) فتنخفض السرعة.
- عند التكميم بدقة 4 بت (طريقة لتقليل حجم الأرقام بتقريبها تقريبًا خشنًا)، عُرضت أمثلة مثل Qwen3.5-4B لذاكرة GPU من فئة 8GB وQwen3.6-27B لفئة 24GB. وقارنت Epoch AI فوجدت أن أفضل نموذج يعمل على 1 بطاقات RTX 5090 يتأخر عن النموذج الأعلى مستوى بمتوسط 6 إلى 12 أشهر.
- في المتصفح يمكن تشغيل النماذج باستخدام WebLLM المبني على WebGPU وwllama، وهو نسخة llama.cpp للمتصفح. ويشرح الكاتب أن النماذج الصغيرة يمكن استخدامها في التصنيف بقراءة احتمالات الخيارات فقط دون كتابة نص، أو تهيئتها لغرض معين بالتقطير وLoRA (طريقة لتدريب جزء من الأوزان فقط تدريبًا إضافيًا).

## Sources

- Zenn: https://zenn.dev/port_inc/articles/ff974c7456f4db

## Comments (0)

No comments yet.

JSON: https://startupxo.com/api/v1/item.json?id=1408&lang=ar
