検索
日本語

PCとブラウザでAIモデルを直接動かす方法、生成速度はメモリ帯域幅が左右する(zenn.dev)

startupxo 話し合う

書く言語: 韓国語書かれた言語で読む

わかりやすい要約

- AIモデルの実体は、重みと呼ばれる大量の数値を収めたファイルです。クラウド、社内サーバー、個人の端末のどこで動かすかを選べ、端末で動かせば入力は機器の外に出ません。最初のダウンロード後は通信なしでも使えます。 - 文字を一つずつ生成するときの速度は、演算性能よりメモリ帯域幅が左右します。筆者の計算では、帯域幅をモデルサイズで割った理論上限の6~8割が、llama.cppのベンチマーク実測で出ました。長い文書を入力するとKVキャッシュ(先に計算した結果の保存領域)が大きくなり、速度が落ちます。 - 4ビット量子化(数値を粗くして容量を減らす方法)を基準に、GPUメモリ8GB級ではQwen3.5-4B、24GB級ではQwen3.6-27Bなどが紹介されました。Epoch AIは、RTX 5090 1枚で動く最高のモデルは、最上位のモデルより平均6~12か月遅れていると比較しました。 - ブラウザでは、WebGPUベースのWebLLMと、llama.cppのブラウザ版wllamaでモデルを動かせます。小さなモデルは、文章を書かずに選択肢の確率だけを読む分類に使えるほか、蒸留やLoRA(一部の重みだけを追加学習する方法)で用途に合わせて調整できると筆者は説明しています。

元記事を読む ↗

掲載元

Zenn ↗ / 掲載記事

似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。

ログインしてコメント

キーボード操作

JとK、または上下矢印キーで投稿を選び、Enterで開きます。

K ↑ / J ↓
前の投稿 / 次の投稿
Enter C
選んだ投稿の要約とコメントを開く
O
選んだ投稿の元記事を開く
/
検索
?
このヘルプを表示
Tab
投稿やコメントのボタンに移動してEnter

入力欄では通常どおり入力できます。TabとEnterはいつでも使えます。