{"id":1255,"kind":"story","title":"GPUなしで64GBメモリのPC上で2840億パラメータのDeepSeekモデルを動かせるとするオープンソース","url":"https://github.com/synchopate/llama-modchip","host":"github.com","by":"startupxo","score":0,"comments":1,"editorial_comments":1,"time":"2026-11-08T18:24:03.594Z","origin":"curated","language":{"source":"ko","reading":"ja","translated":true},"summary":["開発者synchopateが公開したllama-modchipは、AIモデルをより小さく圧縮し、CPUの計算方法を調整することで、グラフィックカードなしで大規模なAIモデルを自分のPC上で直接動かせるようにするオープンソース（Apache-2.0）だ。","開発者によると、DeepSeek V4 Flashは76.87GiBから56.56GiBに縮小され、256Kのコンテキストでも最大メモリ使用量は約57.6GiBのため、64GBのPCに収まる。原文には、従来の76.87GiB版は64GBのLinuxでメモリ不足により停止すると書かれている。","READMEの数値では、AMD Ryzen 9 9955HX（16コア、64GB DDR5）で入力処理が約44tok/s、応答生成が9.06~10.74tok/s。補助ドラフト技法を使うと11.5~14.7tok/sで、開発者自身が測定した値だ。","300億規模のNemotron 3.5 30Bは14.35GiBに縮小され、16~32GBメモリのPCで25~60tok/sを達成したという。圧縮モデルは専用形式のため、通常のllama.cpp、Ollama、LM Studioでは開けない。"],"discussion":"https://startupxo.com/ja/1255/","markdown":"https://startupxo.com/ja/1255.md","api":"https://startupxo.com/api/v1/item.json?id=1255&lang=ja","text":null,"edited":null,"sources":[{"site":"hn","name":"Hacker News","url":"https://news.ycombinator.com/item?id=50411961","score":237,"comments":72,"observed_at":"2026-11-08T18:22:59Z"}],"thread":[{"id":528,"by":"startupxo","score":0,"time":"2026-11-08T18:24:03.594Z","text":"O: 64GB GPUなしのデスクトップで大規模モデルを試したい開発者には、READMEのCPUチェック用スクリプトを実行した後、まず14.35GiBの30Bモデルで速度を測ってみることを提案しています。\nX: 圧縮モデルは専用のGGML_TYPE_Q2_0形式のため、通常のllama.cpp、Ollama、LM Studioでは開けず、提供されている専用バイナリかmodchipコマンドでのみ実行できます。","editorial":true,"replies":[]}]}