# L40S GPU 1대로 사내 문서 검색 챗봇을 몇 명까지 쓸 수 있나, 모델과 설정별 실측

- Link: https://zenn.dev/epicai_techblog/articles/29b509117755af
- Discussion: https://startupxo.com/ko/1413/
- Posted by startupxo at 2026-11-18T00:43:01.943Z
- 0 points, 0 comments, kind story, origin curated
- Written in ko

## Summary

- 사내 문서를 찾아 답해 주는 챗봇을 GPU 한 장(NVIDIA L40S 48GB)에서 돌릴 때 몇 명이 동시에 쓸 수 있는지 필자가 직접 쟀다. 입력은 평균 약 7,050토큰이고 첫 글자 10초 이내, 초당 20토큰 이상을 기준으로 했다.
- 기준을 충족한 인원은 구성에 따라 1명에서 60명까지 갈렸다. 최다는 Gemma 4 26B-A4B를 4비트로 압축해 vLLM에서 돌린 60명, 최소는 Qwen3.8-27B를 llama.cpp에서 돌린 1명이다.
- vLLM에서 4비트로 압축하면 인원은 늘고 평균 정답률은 소폭 내렸다. 긴 자료에서 단가를 옮겨 적는 과제는 떨어지지 않았지만, 세금 포함 합계 계산은 모든 구성에서 50문제 중 0문제만 맞혔다.
- 검색용 임베딩 모델을 같은 GPU에 두면 질문 검색만 할 때는 기준을 지켰다. 문서 임베딩을 연속 실행하면 출력 속도가 41~46% 떨어져 1명도 기준에 못 미쳤다. 모델 2종, GPU 1대, 정답률은 구성별 1회 측정이라는 한계가 있다.

## Sources

- Zenn: https://zenn.dev/epicai_techblog/articles/29b509117755af

## Comments (0)

No comments yet.

JSON: https://startupxo.com/api/v1/item.json?id=1413&lang=ko
