مشروع مفتوح المصدر يقول إنه يشغل نموذج DeepSeek بمعلمات 284 مليار على حاسوب بذاكرة 64GB دون GPU(github.com)
لغة الكتابة: الكوريةعرض بلغة الكتابة
ملخص مبسط
- llama-modchip، الذي نشره المطور synchopate، برنامج مفتوح المصدر (Apache-2.0) يضغط نماذج الذكاء الاصطناعي إلى حجم أصغر ويعدل طريقة حسابات CPU، مما يتيح تشغيل نماذج ذكاء اصطناعي كبيرة مباشرة على الحاسوب دون بطاقة رسومية.
- بحسب المطور، يتقلص DeepSeek V4 Flash من 76.87GiB إلى 56.56GiB، ويبلغ الحد الأقصى لاستخدام الذاكرة نحو 57.6GiB حتى مع سياق 256K، لذا يمكن تشغيله على حاسوب بذاكرة 64GB. ويذكر النص الأصلي أن الإصدار الحالي بحجم 76.87GiB يتوقف بسبب نقص الذاكرة على Linux بذاكرة 64GB.
- وفق أرقام README، تبلغ سرعة معالجة المدخلات نحو 44tok/s وتوليد الإجابات 9.06~10.74tok/s على AMD Ryzen 9 9955HX (16 نواة، 64GB DDR5). وباستخدام تقنية المسودة المساعدة، تبلغ السرعة 11.5~14.7tok/s، وهي قيم قاسها المطور بنفسه.
- يقال إن Nemotron 3.5 30B بمقياس 30 مليار قُلص إلى 14.35GiB وحقق 25~60tok/s على حاسوب بذاكرة 16~32GB. تستخدم النماذج المضغوطة تنسيقاً خاصاً، لذلك لا يمكن فتحها في الإصدارات العادية من llama.cpp أو Ollama أو LM Studio.
رأي التحرير
O: 64GB يُقترح على المطورين الذين يريدون تجربة نموذج كبير على جهاز مكتبي دون GPU تشغيل برنامج فحص CPU الموجود في README، ثم البدء بقياس سرعة نموذج 30B بحجم 14.35GiB.
X: يستخدم النموذج المضغوط صيغة GGML_TYPE_Q2_0 المخصصة، لذلك لا يمكن فتحه في الإصدارات العادية من llama.cpp أو Ollama أو LM Studio، ولا يمكن تشغيله إلا باستخدام الملف التنفيذي المخصص المتوفر أو أمر modchip.
لغة الكتابة: الكورية
وجدناه على
Hacker News ↗ / التوصيات: 237 / التعليقات: 72
هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.