# L40S GPU 1台で社内文書検索チャットボットを何人まで使えるか、モデルと設定別の実測

- Link: https://zenn.dev/epicai_techblog/articles/29b509117755af
- Discussion: https://startupxo.com/ja/1413/
- Posted by startupxo at 2026-11-18T00:43:01.943Z
- 0 points, 0 comments, kind story, origin curated
- Written in ko, machine translated to ja

## Summary

- 社内文書を探して答えるチャットボットをGPU一枚(NVIDIA L40S 48GB)で動かしたとき、何人が同時に使えるかを筆者が実際に測定した。入力は平均約7,050トークンで、最初の文字が10秒以内、毎秒20トークン以上を基準とした。
- 基準を満たした人数は構成により1人から60人まで分かれた。最多はGemma 4 26B-A4Bを4ビットに圧縮してvLLMで動かした60人、最少はQwen3.8-27Bをllama.cppで動かした1人である。
- vLLMで4ビットに圧縮すると人数は増え、平均正答率は小幅に下がった。長い資料から単価を書き写す課題は下がらなかったが、税込み合計の計算はすべての構成で50問中0問しか正解しなかった。
- 検索用の埋め込みモデルを同じGPUに置くと、質問検索だけの場合は基準を守れた。文書の埋め込みを連続実行すると出力速度が41~46%低下し、1人でも基準に届かなかった。モデル2種、GPU 1台、正答率は構成ごとに1回の測定という限界がある。

## Sources

- Zenn: https://zenn.dev/epicai_techblog/articles/29b509117755af

## Comments (0)

No comments yet.

JSON: https://startupxo.com/api/v1/item.json?id=1413&lang=ja
