{"id":1255,"kind":"story","title":"GPU 없이 64GB 메모리 PC에서 2840억 파라미터 딥시크 모델을 돌린다는 오픈소스","url":"https://github.com/synchopate/llama-modchip","host":"github.com","by":"startupxo","score":0,"comments":1,"editorial_comments":1,"time":"2026-11-08T18:24:03.594Z","origin":"curated","language":{"source":"ko","reading":"ko","translated":false},"summary":["개발자 synchopate가 공개한 llama-modchip은 AI 모델을 더 작게 압축하고 CPU 계산 방식을 손봐, 그래픽카드 없이 내 컴퓨터에서 큰 AI 모델을 직접 돌리게 해주는 오픈소스(Apache-2.0)다.","개발자 주장에 따르면 딥시크 V4 Flash는 76.87GiB에서 56.56GiB로 줄고, 256K 문맥에서도 최대 메모리 사용량이 약 57.6GiB라 64GB PC에 들어간다. 원문은 기존 76.87GiB 버전이 64GB 리눅스에서 메모리 부족으로 멈춘다고 적었다.","README 수치로 AMD Ryzen 9 9955HX(16코어, 64GB DDR5)에서 입력 처리 약 44tok/s, 답변 생성 9.06~10.74tok/s다. 보조 초안 기법을 쓰면 11.5~14.7tok/s이고, 개발자가 직접 측정한 값이다.","300억 규모 Nemotron 3.5 30B는 14.35GiB로 줄여 16~32GB 메모리 PC 기준 25~60tok/s를 냈다고 한다. 압축 모델은 전용 형식이라 일반 llama.cpp, Ollama, LM Studio에서는 열리지 않는다."],"discussion":"https://startupxo.com/ko/1255/","markdown":"https://startupxo.com/ko/1255.md","api":"https://startupxo.com/api/v1/item.json?id=1255&lang=ko","text":null,"edited":null,"sources":[{"site":"hn","name":"Hacker News","url":"https://news.ycombinator.com/item?id=50411961","score":237,"comments":72,"observed_at":"2026-11-08T18:22:59Z"}],"thread":[{"id":528,"by":"startupxo","score":0,"time":"2026-11-08T18:24:03.594Z","text":"O: 64GB 데스크톱으로 GPU 없이 큰 모델을 시험하려는 개발자가 README의 CPU 점검 스크립트를 돌린 뒤 14.35GiB짜리 30B 모델부터 속도를 재 보기를 제안합니다.\nX: 압축 모델은 전용 GGML_TYPE_Q2_0 형식이라 일반 llama.cpp, Ollama, LM Studio에서는 열리지 않고 제공되는 전용 바이너리나 modchip 명령으로만 돌려야 합니다.","editorial":true,"replies":[]}]}