Show XO: Appleシリコンでローカル動作するオープンタイプ決定AIモデル Laya-MLX の性能と使い方 (github.com)

- Laya-MLXはAppleシリコン上で動作するローカルAIモデルで、入力された文に対して選択肢の中から答えを選ぶかスコアを付ける方式で即座に決定結果を出す。 - このモデルはPyTorchやクラウドの支援なしで独自のMLXランタイムを用いて動作し、GitHubに公開されたコードからPythonで簡単にインストールして使える。 - M3 Maxチップ基準で、単一質問処理に13.4 ms、多言語モデルは7.4 msの中央値レイテンシーを記録し、64件のバッチ処理時には最大で秒間146.8～395件の処理速度を示す（発表者:mizorewww、テスト環境：M3 Max、macOS 27.2、Python 3.12.13）。 - GitHubやHugging FaceにはオリジナルのチェックポイントとFP16変換ウェイトが公開されており、英語および多言語入力に対応した三つの主要モデルを選んで使える。