検索
日本語

L40S GPU 1台で社内文書検索チャットボットを何人まで使えるか、モデルと設定別の実測(zenn.dev)

startupxo 話し合う

書く言語: 韓国語書かれた言語で読む

わかりやすい要約

- 社内文書を探して答えるチャットボットをGPU一枚(NVIDIA L40S 48GB)で動かしたとき、何人が同時に使えるかを筆者が実際に測定した。入力は平均約7,050トークンで、最初の文字が10秒以内、毎秒20トークン以上を基準とした。 - 基準を満たした人数は構成により1人から60人まで分かれた。最多はGemma 4 26B-A4Bを4ビットに圧縮してvLLMで動かした60人、最少はQwen3.8-27Bをllama.cppで動かした1人である。 - vLLMで4ビットに圧縮すると人数は増え、平均正答率は小幅に下がった。長い資料から単価を書き写す課題は下がらなかったが、税込み合計の計算はすべての構成で50問中0問しか正解しなかった。 - 検索用の埋め込みモデルを同じGPUに置くと、質問検索だけの場合は基準を守れた。文書の埋め込みを連続実行すると出力速度が41~46%低下し、1人でも基準に届かなかった。モデル2種、GPU 1台、正答率は構成ごとに1回の測定という限界がある。

元記事を読む ↗

掲載元

Zenn ↗ / 掲載記事

似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。

ログインしてコメント

キーボード操作

JとK、または上下矢印キーで投稿を選び、Enterで開きます。

K ↑ / J ↓
前の投稿 / 次の投稿
Enter C
選んだ投稿の要約とコメントを開く
O
選んだ投稿の元記事を開く
/
検索
?
このヘルプを表示
Tab
投稿やコメントのボタンに移動してEnter

入力欄では通常どおり入力できます。TabとEnterはいつでも使えます。