Buscar
Español

Cuántas personas pueden usar un chatbot de búsqueda de documentos internos con 1 GPU L40S, medido por modelo y configuración(zenn.dev)

startupxo Conversar

Idioma del texto: coreanoVer en el idioma original

Resumen sencillo

- El autor midió cuántas personas pueden usar a la vez un chatbot que busca y responde con documentos internos cuando se ejecuta en una sola GPU (NVIDIA L40S 48GB). La entrada promedió unos 7,050 tokens, y los criterios fueron el primer token en menos de 10 segundos y al menos 20 tokens por segundo. - El número de personas que cumplieron los criterios varió de 1 a 60 según la configuración. El máximo fue de 60 personas con Gemma 4 26B-A4B comprimido a 4 bits y ejecutado en vLLM, y el mínimo fue de 1 personas con Qwen3.8-27B ejecutado en llama.cpp. - Al comprimir a 4 bits en vLLM aumentó el número de personas y la precisión media bajó levemente. La tarea de copiar precios unitarios de documentos largos no empeoró, pero en el cálculo del total con impuestos todas las configuraciones acertaron solo 0 de 50 preguntas. - Colocar el modelo de embeddings de búsqueda en la misma GPU cumplió los criterios cuando solo se buscaban preguntas. Al ejecutar embeddings de documentos de forma continua, la velocidad de salida cayó entre 41 y 46%, y ni siquiera 1 personas alcanzaron el criterio. Limitaciones: 2 modelos, 1 GPU y precisión medida 1 veces por configuración.

Leer la fuente ↗

Encontrado en

Zenn ↗ / Publicado por la fuente

¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.

Inicia sesión para comentar

Atajos de teclado

Elige una publicación con J y K o con las flechas y pulsa Enter.

K ↑ / J ↓
Publicación anterior / siguiente
Enter C
Abrir el resumen y los comentarios de la publicación elegida
O
Abrir el enlace original de la publicación elegida
/
Buscar
?
Mostrar esta ayuda
Tab
Ve al botón de publicar o comentar y pulsa Enter

Escribe con normalidad en los campos de texto. Tab y Enter siempre están disponibles.