KVBoost: Reducción de la latencia del primer token de LLM de 5 a 48 veces mediante reutilización de caché KV, funciona sin GPU(pythongiant.github.io)
Idioma del texto: coreanoVer en el idioma original
Resumen sencillo
- KVBoost de código abierto apareció en Hacker News.
- Divide la entrada en fragmentos, les asigna un hash y, cuando el mismo fragmento vuelve a aparecer, reutiliza directamente la caché KV.
- Reduce el tiempo hasta el primer token entre 5 y 48 veces y funciona sobre generate() de HuggingFace, por lo que no es necesario cambiar la infraestructura.
- Antes de implementarlo, debemos revisar cuánto se repite realmente el mismo contexto en nuestras solicitudes para que las cifras tengan sentido.
¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.