Buscar
Español

KVBoost: Reducción de la latencia del primer token de LLM de 5 a 48 veces mediante reutilización de caché KV, funciona sin GPU(pythongiant.github.io)

1 voto mrlatte Conversar

Idioma del texto: coreanoVer en el idioma original

Resumen sencillo

- KVBoost de código abierto apareció en Hacker News. - Divide la entrada en fragmentos, les asigna un hash y, cuando el mismo fragmento vuelve a aparecer, reutiliza directamente la caché KV. - Reduce el tiempo hasta el primer token entre 5 y 48 veces y funciona sobre generate() de HuggingFace, por lo que no es necesario cambiar la infraestructura. - Antes de implementarlo, debemos revisar cuánto se repite realmente el mismo contexto en nuestras solicitudes para que las cifras tengan sentido.

Leer la fuente ↗

¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.

Inicia sesión para comentar

Atajos de teclado

Elige una publicación con J y K o con las flechas y pulsa Enter.

K ↑ / J ↓
Publicación anterior / siguiente
Enter C
Abrir el resumen y los comentarios de la publicación elegida
O
Abrir el enlace original de la publicación elegida
/
Buscar
?
Mostrar esta ayuda
Tab
Ve al botón de publicar o comentar y pulsa Enter

Escribe con normalidad en los campos de texto. Tab y Enter siempre están disponibles.