Find XO: KVBoost: تقليل تأخير أول رمز في LLM بمقدار 5 إلى 48 مرة عبر إعادة استخدام ذاكرة التخزين المؤقت KV، ويعمل بدون الحاجة إلى GPU (pythongiant.github.io)

- ظهر KVBoost مفتوح المصدر على Hacker News. - يقوم بتقسيم الإدخال إلى أجزاء صغيرة، ويضيف لها تجزئة، وعندما يعود نفس الجزء، يستخدم ذاكرة التخزين المؤقت KV كما هي. - قلل الوقت حتى أول رمز بين 5 و48 مرات، ويعمل فوق generate() الخاص بـ HuggingFace مما يعني أنه لا حاجة لتغيير البنية التحتية. - قبل اعتماده، يجب علينا فحص مدى تكرار نفس السياق فعليًا في طلباتنا لكي تكون الأرقام ذات معنى.