بحث
العربية

مشروع مفتوح المصدر يقول إنه يشغل نموذج DeepSeek بمعلمات 284 مليار على حاسوب بذاكرة 64GB دون GPU(github.com)

startupxo ناقش

لغة الكتابة: الكوريةعرض بلغة الكتابة

ملخص مبسط

- llama-modchip، الذي نشره المطور synchopate، برنامج مفتوح المصدر (Apache-2.0) يضغط نماذج الذكاء الاصطناعي إلى حجم أصغر ويعدل طريقة حسابات CPU، مما يتيح تشغيل نماذج ذكاء اصطناعي كبيرة مباشرة على الحاسوب دون بطاقة رسومية. - بحسب المطور، يتقلص DeepSeek V4 Flash من 76.87GiB إلى 56.56GiB، ويبلغ الحد الأقصى لاستخدام الذاكرة نحو 57.6GiB حتى مع سياق 256K، لذا يمكن تشغيله على حاسوب بذاكرة 64GB. ويذكر النص الأصلي أن الإصدار الحالي بحجم 76.87GiB يتوقف بسبب نقص الذاكرة على Linux بذاكرة 64GB. - وفق أرقام README، تبلغ سرعة معالجة المدخلات نحو 44tok/s وتوليد الإجابات 9.06~10.74tok/s على AMD Ryzen 9 9955HX ‏(16 نواة، 64GB DDR5). وباستخدام تقنية المسودة المساعدة، تبلغ السرعة 11.5~14.7tok/s، وهي قيم قاسها المطور بنفسه. - يقال إن Nemotron 3.5 30B بمقياس 30 مليار قُلص إلى 14.35GiB وحقق 25~60tok/s على حاسوب بذاكرة 16~32GB. تستخدم النماذج المضغوطة تنسيقاً خاصاً، لذلك لا يمكن فتحها في الإصدارات العادية من llama.cpp أو Ollama أو LM Studio.

رأي التحرير

O: 64GB يُقترح على المطورين الذين يريدون تجربة نموذج كبير على جهاز مكتبي دون GPU تشغيل برنامج فحص CPU الموجود في README، ثم البدء بقياس سرعة نموذج 30B بحجم 14.35GiB. X: يستخدم النموذج المضغوط صيغة GGML_TYPE_Q2_0 المخصصة، لذلك لا يمكن فتحه في الإصدارات العادية من llama.cpp أو Ollama أو LM Studio، ولا يمكن تشغيله إلا باستخدام الملف التنفيذي المخصص المتوفر أو أمر modchip.
لغة الكتابة: الكورية

قراءة المصدر ↗

وجدناه على

Hacker News ↗ / التوصيات: 237 / التعليقات: 72

هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.

سجل الدخول للتعليق

اختصارات لوحة المفاتيح

اختر منشورا بالمفتاحين J وK أو بسهمي الأعلى والأسفل ثم اضغط Enter.

K ↑ / J ↓
المنشور السابق / التالي
Enter C
فتح ملخص المنشور المحدد وتعليقاته
O
فتح الرابط الأصلي للمنشور المحدد
/
البحث
?
عرض هذه المساعدة
Tab
انتقل إلى زر النشر أو التعليق ثم اضغط Enter

اكتب كالمعتاد في حقول النص. يظل Tab وEnter متاحين دائما.