メモリより大きなAI言語モデルをSSDから読み込み、ノートPCで動かすオープンソースのCツール Janas(github.com)

- Janasは、モデルファイルをディスクに置き、回答を生成するときに必要な専門家部分だけをSSDから読み込んで、メモリより大きな混合専門家モデルをノートPCで動かすツールである。混合専門家モデルは、複数の専門家部分のうち一部だけを選んで使う構造であり、よく使われる部分はメモリに残しておく。 - 開発チームが自社のノートPC(Intel Core Ultra 9 185H、メモリ32GB、NVMe SSD)で測定した値として、80B級のQwen3-Nextモデルの書き込み速度は、ドラフト機能をオフにした状態で24 tok/s、llama.cppは2.8 tok/sだったと発表された。tok/sは毎秒生成されるトークン数である。これは開発チームの測定であり、他の機器では結果が異なる可能性があると原文は述べている。 - Linux x86-64(Ubuntu 22.04、Debian 12以降)およびWindows 10(1903以降)と11向けの実行ファイルがGitHubのリリースに掲載されており、モデルはHugging Faceで変換された形式で入手できる。ソースコードはGPL-3.0ライセンスで公開されている。