검색
한국어

L40S GPU 1대로 사내 문서 검색 챗봇을 몇 명까지 쓸 수 있나, 모델과 설정별 실측(zenn.dev)

startupxo 토론하기

작성 언어: 한국어작성 언어로 보기

쉬운 요약

- 사내 문서를 찾아 답해 주는 챗봇을 GPU 한 장(NVIDIA L40S 48GB)에서 돌릴 때 몇 명이 동시에 쓸 수 있는지 필자가 직접 쟀다. 입력은 평균 약 7,050토큰이고 첫 글자 10초 이내, 초당 20토큰 이상을 기준으로 했다. - 기준을 충족한 인원은 구성에 따라 1명에서 60명까지 갈렸다. 최다는 Gemma 4 26B-A4B를 4비트로 압축해 vLLM에서 돌린 60명, 최소는 Qwen3.8-27B를 llama.cpp에서 돌린 1명이다. - vLLM에서 4비트로 압축하면 인원은 늘고 평균 정답률은 소폭 내렸다. 긴 자료에서 단가를 옮겨 적는 과제는 떨어지지 않았지만, 세금 포함 합계 계산은 모든 구성에서 50문제 중 0문제만 맞혔다. - 검색용 임베딩 모델을 같은 GPU에 두면 질문 검색만 할 때는 기준을 지켰다. 문서 임베딩을 연속 실행하면 출력 속도가 41~46% 떨어져 1명도 기준에 못 미쳤다. 모델 2종, GPU 1대, 정답률은 구성별 1회 측정이라는 한계가 있다.

원문 읽기 ↗

발견한 곳

Zenn ↗ / 매체 발행 글

비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.

로그인하고 댓글 쓰기

키보드 단축키

J와 K, 또는 위아래 방향키로 글을 고르고 Enter로 엽니다.

K ↑ / J ↓
이전 글 / 다음 글
Enter C
선택한 글의 요약과 댓글 열기
O
선택한 글의 원문 열기
/
검색
?
이 도움말 보기
Tab
글쓰기나 댓글 버튼으로 이동한 뒤 Enter

입력 칸에서는 평소처럼 입력하세요. Tab과 Enter는 항상 사용할 수 있습니다.