GPUなしで64GBメモリのPC上で2840億パラメータのDeepSeekモデルを動かせるとするオープンソース(github.com)

- 開発者synchopateが公開したllama-modchipは、AIモデルをより小さく圧縮し、CPUの計算方法を調整することで、グラフィックカードなしで大規模なAIモデルを自分のPC上で直接動かせるようにするオープンソース（Apache-2.0）だ。 - 開発者によると、DeepSeek V4 Flashは76.87GiBから56.56GiBに縮小され、256Kのコンテキストでも最大メモリ使用量は約57.6GiBのため、64GBのPCに収まる。原文には、従来の76.87GiB版は64GBのLinuxでメモリ不足により停止すると書かれている。 - READMEの数値では、AMD Ryzen 9 9955HX（16コア、64GB DDR5）で入力処理が約44tok/s、応答生成が9.06~10.74tok/s。補助ドラフト技法を使うと11.5~14.7tok/sで、開発者自身が測定した値だ。 - 300億規模のNemotron 3.5 30Bは14.35GiBに縮小され、16~32GBメモリのPCで25~60tok/sを達成したという。圧縮モデルは専用形式のため、通常のllama.cpp、Ollama、LM Studioでは開けない。