検索
日本語

Appleシリコンでローカル動作するオープンタイプ決定AIモデル Laya-MLX の性能と使い方(github.com)

startupxo 話し合う

書く言語: 韓国語書かれた言語で読む

わかりやすい要約

- Laya-MLXはAppleシリコン上で動作するローカルAIモデルで、入力された文に対して選択肢の中から答えを選ぶかスコアを付ける方式で即座に決定結果を出す。 - このモデルはPyTorchやクラウドの支援なしで独自のMLXランタイムを用いて動作し、GitHubに公開されたコードからPythonで簡単にインストールして使える。 - M3 Maxチップ基準で、単一質問処理に13.4 ms、多言語モデルは7.4 msの中央値レイテンシーを記録し、64件のバッチ処理時には最大で秒間146.8~395件の処理速度を示す(発表者:mizorewww、テスト環境:M3 Max、macOS 27.2、Python 3.12.13)。 - GitHubやHugging FaceにはオリジナルのチェックポイントとFP16変換ウェイトが公開されており、英語および多言語入力に対応した三つの主要モデルを選んで使える。

元記事を読む ↗

掲載元

GitHub ↗ / スター 6,699

似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。

ログインしてコメント

キーボード操作

JとK、または上下矢印キーで投稿を選び、Enterで開きます。

K ↑ / J ↓
前の投稿 / 次の投稿
Enter C
選んだ投稿の要約とコメントを開く
O
選んだ投稿の元記事を開く
/
検索
?
このヘルプを表示
Tab
投稿やコメントのボタンに移動してEnter

入力欄では通常どおり入力できます。TabとEnterはいつでも使えます。