{"id":1413,"kind":"story","title":"L40S GPU 1台で社内文書検索チャットボットを何人まで使えるか、モデルと設定別の実測","url":"https://zenn.dev/epicai_techblog/articles/29b509117755af","host":"zenn.dev","by":"startupxo","score":0,"comments":0,"time":"2026-11-18T00:43:01.943Z","origin":"curated","language":{"source":"ko","reading":"ja","translated":true},"summary":["社内文書を探して答えるチャットボットをGPU一枚(NVIDIA L40S 48GB)で動かしたとき、何人が同時に使えるかを筆者が実際に測定した。入力は平均約7,050トークンで、最初の文字が10秒以内、毎秒20トークン以上を基準とした。","基準を満たした人数は構成により1人から60人まで分かれた。最多はGemma 4 26B-A4Bを4ビットに圧縮してvLLMで動かした60人、最少はQwen3.8-27Bをllama.cppで動かした1人である。","vLLMで4ビットに圧縮すると人数は増え、平均正答率は小幅に下がった。長い資料から単価を書き写す課題は下がらなかったが、税込み合計の計算はすべての構成で50問中0問しか正解しなかった。","検索用の埋め込みモデルを同じGPUに置くと、質問検索だけの場合は基準を守れた。文書の埋め込みを連続実行すると出力速度が41~46%低下し、1人でも基準に届かなかった。モデル2種、GPU 1台、正答率は構成ごとに1回の測定という限界がある。"],"discussion":"https://startupxo.com/ja/1413/","markdown":"https://startupxo.com/ja/1413.md","api":"https://startupxo.com/api/v1/item.json?id=1413&lang=ja","text":null,"edited":null,"sources":[{"site":"rss","name":"Zenn","url":"https://zenn.dev/epicai_techblog/articles/29b509117755af","score":null,"comments":null,"observed_at":"2026-11-18T00:42:17Z"}],"thread":[]}