PCとブラウザでAIモデルを直接動かす方法、生成速度はメモリ帯域幅が左右する(zenn.dev)
書く言語: 韓国語書かれた言語で読む
わかりやすい要約
- AIモデルの実体は、重みと呼ばれる大量の数値を収めたファイルです。クラウド、社内サーバー、個人の端末のどこで動かすかを選べ、端末で動かせば入力は機器の外に出ません。最初のダウンロード後は通信なしでも使えます。
- 文字を一つずつ生成するときの速度は、演算性能よりメモリ帯域幅が左右します。筆者の計算では、帯域幅をモデルサイズで割った理論上限の6~8割が、llama.cppのベンチマーク実測で出ました。長い文書を入力するとKVキャッシュ(先に計算した結果の保存領域)が大きくなり、速度が落ちます。
- 4ビット量子化(数値を粗くして容量を減らす方法)を基準に、GPUメモリ8GB級ではQwen3.5-4B、24GB級ではQwen3.6-27Bなどが紹介されました。Epoch AIは、RTX 5090 1枚で動く最高のモデルは、最上位のモデルより平均6~12か月遅れていると比較しました。
- ブラウザでは、WebGPUベースのWebLLMと、llama.cppのブラウザ版wllamaでモデルを動かせます。小さなモデルは、文章を書かずに選択肢の確率だけを読む分類に使えるほか、蒸留やLoRA(一部の重みだけを追加学習する方法)で用途に合わせて調整できると筆者は説明しています。
掲載元
Zenn ↗ / 掲載記事
似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。