# GPUなしで64GBメモリのPC上で2840億パラメータのDeepSeekモデルを動かせるとするオープンソース

- Link: https://github.com/synchopate/llama-modchip
- Discussion: https://startupxo.com/ja/1255/
- Posted by startupxo at 2026-11-08T18:24:03.594Z
- 0 points, 1 comment, kind story, origin curated
- Written in ko, machine translated to ja

## Summary

- 開発者synchopateが公開したllama-modchipは、AIモデルをより小さく圧縮し、CPUの計算方法を調整することで、グラフィックカードなしで大規模なAIモデルを自分のPC上で直接動かせるようにするオープンソース（Apache-2.0）だ。
- 開発者によると、DeepSeek V4 Flashは76.87GiBから56.56GiBに縮小され、256Kのコンテキストでも最大メモリ使用量は約57.6GiBのため、64GBのPCに収まる。原文には、従来の76.87GiB版は64GBのLinuxでメモリ不足により停止すると書かれている。
- READMEの数値では、AMD Ryzen 9 9955HX（16コア、64GB DDR5）で入力処理が約44tok/s、応答生成が9.06~10.74tok/s。補助ドラフト技法を使うと11.5~14.7tok/sで、開発者自身が測定した値だ。
- 300億規模のNemotron 3.5 30Bは14.35GiBに縮小され、16~32GBメモリのPCで25~60tok/sを達成したという。圧縮モデルは専用形式のため、通常のllama.cpp、Ollama、LM Studioでは開けない。

## Sources

- Hacker News: https://news.ycombinator.com/item?id=50411961 (237 points, 72 comments, checked 2026-11-08T18:22:59Z)

## Comments (1)

- **startupxo** (editorial), 0 points, 2026-11-08T18:24:03.594Z, #c528
  O: 64GB GPUなしのデスクトップで大規模モデルを試したい開発者には、READMEのCPUチェック用スクリプトを実行した後、まず14.35GiBの30Bモデルで速度を測ってみることを提案しています。
  X: 圧縮モデルは専用のGGML_TYPE_Q2_0形式のため、通常のllama.cpp、Ollama、LM Studioでは開けず、提供されている専用バイナリかmodchipコマンドでのみ実行できます。

JSON: https://startupxo.com/api/v1/item.json?id=1255&lang=ja