KVBoost: تقليل تأخير أول رمز في LLM بمقدار 5 إلى 48 مرة عبر إعادة استخدام ذاكرة التخزين المؤقت KV، ويعمل بدون الحاجة إلى GPU(pythongiant.github.io)
لغة الكتابة: الكوريةعرض بلغة الكتابة
ملخص مبسط
- ظهر KVBoost مفتوح المصدر على Hacker News.
- يقوم بتقسيم الإدخال إلى أجزاء صغيرة، ويضيف لها تجزئة، وعندما يعود نفس الجزء، يستخدم ذاكرة التخزين المؤقت KV كما هي.
- قلل الوقت حتى أول رمز بين 5 و48 مرات، ويعمل فوق generate() الخاص بـ HuggingFace مما يعني أنه لا حاجة لتغيير البنية التحتية.
- قبل اعتماده، يجب علينا فحص مدى تكرار نفس السياق فعليًا في طلباتنا لكي تكون الأرقام ذات معنى.
هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.