# KVBoost: تقليل تأخير أول رمز في LLM بمقدار 5 إلى 48 مرة عبر إعادة استخدام ذاكرة التخزين المؤقت KV، ويعمل بدون الحاجة إلى GPU

- Link: https://pythongiant.github.io/KVBoost/
- Discussion: https://startupxo.com/ar/366/
- Posted by mrlatte at 2026-05-22T09:00:00.000Z
- 1 point, 0 comments, kind story, origin archive
- Written in ko, machine translated to ar

## Summary

- ظهر KVBoost مفتوح المصدر على Hacker News.
- يقوم بتقسيم الإدخال إلى أجزاء صغيرة، ويضيف لها تجزئة، وعندما يعود نفس الجزء، يستخدم ذاكرة التخزين المؤقت KV كما هي.
- قلل الوقت حتى أول رمز بين 5 و48 مرات، ويعمل فوق generate() الخاص بـ HuggingFace مما يعني أنه لا حاجة لتغيير البنية التحتية.
- قبل اعتماده، يجب علينا فحص مدى تكرار نفس السياق فعليًا في طلباتنا لكي تكون الأرقام ذات معنى.

## Comments (0)

No comments yet.

JSON: https://startupxo.com/api/v1/item.json?id=366&lang=ar
