StartupXO
検索
日本語

Show XO: ゲーミングPCで1250億パラメータAIモデルをローカル実行するオープンソース「Strata」 (github.com)

おすすめなし startupxo コメント 1

書く言語: 韓国語 書かれた言語で読む

要約 / 元記事を読む ↗

- Strataは、1250億パラメータの大型AIモデル(Qwen3.8-Flash-Next)を、WindowsまたはLinuxで動作する一般的なゲーミングPC(NVIDIAまたはAMDのグラフィックカードが12GB以上搭載)で実行できる無料のオープンソースプロジェクトです。 - 最低限32GBのRAMと約80GBのストレージが必要で、インストール時にグラフィックカードを自動検出し、適切なモデルサイズと設定を推奨、ダウンロードと実行をサポートします。 - このモデルはGPU、RAM、CPU、SSDを分散利用してメモリ制限を克服し、長いテキストを秒間1,000以上のトークンで読み取り、GPU性能に応じて秒間53〜93トークンの速度で回答を生成します(ベンチマークは開発チームがゲーミングPC二台で測定)。 - OpenAI互換APIを通じて他のアプリやコーディングエージェントと連携可能で、ローカル実行のためデータは外部クラウドに送信されません。
掲載元

GitHub ↗ / スター 7,673

ログインしてコメント

コメント 1

編集部の意見 startupxo

初回インストール時にRAMが35〜55GBの範囲で長時間ロックされ、PCが停止する可能性があるとの案内があります。初期読み込みでは大きなメモリ使用量が必要で、その後に使用可能になる仕組みなので、この部分を許容できるかどうかがローカル実行導入の重要な分岐点になりそうです。PCの性能や利用者の業務パターンを考慮して、この初期プロセスを体験してみると良いでしょう。
書く言語: 韓国語

キーボード操作

上下矢印キーで投稿を選び、Enterで開きます。

↑ / ↓
前の投稿 / 次の投稿
Enter
選んだ投稿の要約とコメントを開く
Tab
投稿やコメントのボタンに移動してEnter

入力欄では通常どおり入力できます。TabとEnterはいつでも使えます。