منشورات من pythongiant.github.io
-
Find XO: KVBoost: تقليل تأخير أول رمز في LLM بمقدار 5 إلى 48 مرة عبر إعادة استخدام ذاكرة التخزين المؤقت KV، ويعمل بدون الحاجة إلى GPU (pythongiant.github.io)
الملخصظهر KVBoost مفتوح المصدر على Hacker News. يقوم بتقسيم الإدخال إلى أجزاء صغيرة، ويضيف لها تجزئة، وعندما يعود نفس الجزء، يستخدم ذاكرة التخزين المؤقت KV كما هي. قلل الوقت حتى أول رمز بين 5 و48 مرات، ويع…
كل المنشورات في هذه الصفحة مخفية.