Cuántas personas pueden usar un chatbot de búsqueda de documentos internos con 1 GPU L40S, medido por modelo y configuración(zenn.dev)
Idioma del texto: coreanoVer en el idioma original
Resumen sencillo
- El autor midió cuántas personas pueden usar a la vez un chatbot que busca y responde con documentos internos cuando se ejecuta en una sola GPU (NVIDIA L40S 48GB). La entrada promedió unos 7,050 tokens, y los criterios fueron el primer token en menos de 10 segundos y al menos 20 tokens por segundo.
- El número de personas que cumplieron los criterios varió de 1 a 60 según la configuración. El máximo fue de 60 personas con Gemma 4 26B-A4B comprimido a 4 bits y ejecutado en vLLM, y el mínimo fue de 1 personas con Qwen3.8-27B ejecutado en llama.cpp.
- Al comprimir a 4 bits en vLLM aumentó el número de personas y la precisión media bajó levemente. La tarea de copiar precios unitarios de documentos largos no empeoró, pero en el cálculo del total con impuestos todas las configuraciones acertaron solo 0 de 50 preguntas.
- Colocar el modelo de embeddings de búsqueda en la misma GPU cumplió los criterios cuando solo se buscaban preguntas. Al ejecutar embeddings de documentos de forma continua, la velocidad de salida cayó entre 41 y 46%, y ni siquiera 1 personas alcanzaron el criterio. Limitaciones: 2 modelos, 1 GPU y precisión medida 1 veces por configuración.
Encontrado en
Zenn ↗ / Publicado por la fuente
¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.