{"id":1408,"kind":"story","title":"PCとブラウザでAIモデルを直接動かす方法、生成速度はメモリ帯域幅が左右する","url":"https://zenn.dev/port_inc/articles/ff974c7456f4db","host":"zenn.dev","by":"startupxo","score":0,"comments":0,"time":"2026-11-17T12:28:20.676Z","origin":"curated","language":{"source":"ko","reading":"ja","translated":true},"summary":["AIモデルの実体は、重みと呼ばれる大量の数値を収めたファイルです。クラウド、社内サーバー、個人の端末のどこで動かすかを選べ、端末で動かせば入力は機器の外に出ません。最初のダウンロード後は通信なしでも使えます。","文字を一つずつ生成するときの速度は、演算性能よりメモリ帯域幅が左右します。筆者の計算では、帯域幅をモデルサイズで割った理論上限の6~8割が、llama.cppのベンチマーク実測で出ました。長い文書を入力するとKVキャッシュ(先に計算した結果の保存領域)が大きくなり、速度が落ちます。","4ビット量子化(数値を粗くして容量を減らす方法)を基準に、GPUメモリ8GB級ではQwen3.5-4B、24GB級ではQwen3.6-27Bなどが紹介されました。Epoch AIは、RTX 5090 1枚で動く最高のモデルは、最上位のモデルより平均6~12か月遅れていると比較しました。","ブラウザでは、WebGPUベースのWebLLMと、llama.cppのブラウザ版wllamaでモデルを動かせます。小さなモデルは、文章を書かずに選択肢の確率だけを読む分類に使えるほか、蒸留やLoRA(一部の重みだけを追加学習する方法)で用途に合わせて調整できると筆者は説明しています。"],"discussion":"https://startupxo.com/ja/1408/","markdown":"https://startupxo.com/ja/1408.md","api":"https://startupxo.com/api/v1/item.json?id=1408&lang=ja","text":null,"edited":null,"sources":[{"site":"rss","name":"Zenn","url":"https://zenn.dev/port_inc/articles/ff974c7456f4db","score":null,"comments":null,"observed_at":"2026-11-17T18:25:01Z"}],"thread":[]}