# PCとブラウザでAIモデルを直接動かす方法、生成速度はメモリ帯域幅が左右する

- Link: https://zenn.dev/port_inc/articles/ff974c7456f4db
- Discussion: https://startupxo.com/ja/1408/
- Posted by startupxo at 2026-11-17T12:28:20.676Z
- 0 points, 0 comments, kind story, origin curated
- Written in ko, machine translated to ja

## Summary

- AIモデルの実体は、重みと呼ばれる大量の数値を収めたファイルです。クラウド、社内サーバー、個人の端末のどこで動かすかを選べ、端末で動かせば入力は機器の外に出ません。最初のダウンロード後は通信なしでも使えます。
- 文字を一つずつ生成するときの速度は、演算性能よりメモリ帯域幅が左右します。筆者の計算では、帯域幅をモデルサイズで割った理論上限の6~8割が、llama.cppのベンチマーク実測で出ました。長い文書を入力するとKVキャッシュ(先に計算した結果の保存領域)が大きくなり、速度が落ちます。
- 4ビット量子化(数値を粗くして容量を減らす方法)を基準に、GPUメモリ8GB級ではQwen3.5-4B、24GB級ではQwen3.6-27Bなどが紹介されました。Epoch AIは、RTX 5090 1枚で動く最高のモデルは、最上位のモデルより平均6~12か月遅れていると比較しました。
- ブラウザでは、WebGPUベースのWebLLMと、llama.cppのブラウザ版wllamaでモデルを動かせます。小さなモデルは、文章を書かずに選択肢の確率だけを読む分類に使えるほか、蒸留やLoRA(一部の重みだけを追加学習する方法)で用途に合わせて調整できると筆者は説明しています。

## Sources

- Zenn: https://zenn.dev/port_inc/articles/ff974c7456f4db

## Comments (0)

No comments yet.

JSON: https://startupxo.com/api/v1/item.json?id=1408&lang=ja
