ゲーミングPCで1250億パラメータAIモデルをローカル実行するオープンソース「Strata」(github.com)
書く言語: 韓国語書かれた言語で読む
わかりやすい要約
- Strataは、1250億パラメータの大型AIモデル(Qwen3.8-Flash-Next)を、WindowsまたはLinuxで動作する一般的なゲーミングPC(NVIDIAまたはAMDのグラフィックカードが12GB以上搭載)で実行できる無料のオープンソースプロジェクトです。
- 最低限32GBのRAMと約80GBのストレージが必要で、インストール時にグラフィックカードを自動検出し、適切なモデルサイズと設定を推奨、ダウンロードと実行をサポートします。
- このモデルはGPU、RAM、CPU、SSDを分散利用してメモリ制限を克服し、長いテキストを秒間1,000以上のトークンで読み取り、GPU性能に応じて秒間53〜93トークンの速度で回答を生成します(ベンチマークは開発チームがゲーミングPC二台で測定)。
- OpenAI互換APIを通じて他のアプリやコーディングエージェントと連携可能で、ローカル実行のためデータは外部クラウドに送信されません。
似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。