L40S GPU 1台で社内文書検索チャットボットを何人まで使えるか、モデルと設定別の実測(zenn.dev)
書く言語: 韓国語書かれた言語で読む
わかりやすい要約
- 社内文書を探して答えるチャットボットをGPU一枚(NVIDIA L40S 48GB)で動かしたとき、何人が同時に使えるかを筆者が実際に測定した。入力は平均約7,050トークンで、最初の文字が10秒以内、毎秒20トークン以上を基準とした。
- 基準を満たした人数は構成により1人から60人まで分かれた。最多はGemma 4 26B-A4Bを4ビットに圧縮してvLLMで動かした60人、最少はQwen3.8-27Bをllama.cppで動かした1人である。
- vLLMで4ビットに圧縮すると人数は増え、平均正答率は小幅に下がった。長い資料から単価を書き写す課題は下がらなかったが、税込み合計の計算はすべての構成で50問中0問しか正解しなかった。
- 検索用の埋め込みモデルを同じGPUに置くと、質問検索だけの場合は基準を守れた。文書の埋め込みを連続実行すると出力速度が41~46%低下し、1人でも基準に届かなかった。モデル2種、GPU 1台、正答率は構成ごとに1回の測定という限界がある。
掲載元
Zenn ↗ / 掲載記事
似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。