GPU 없이 64GB 메모리 PC에서 2840억 파라미터 딥시크 모델을 돌린다는 오픈소스(github.com)

- 개발자 synchopate가 공개한 llama-modchip은 AI 모델을 더 작게 압축하고 CPU 계산 방식을 손봐, 그래픽카드 없이 내 컴퓨터에서 큰 AI 모델을 직접 돌리게 해주는 오픈소스(Apache-2.0)다. - 개발자 주장에 따르면 딥시크 V4 Flash는 76.87GiB에서 56.56GiB로 줄고, 256K 문맥에서도 최대 메모리 사용량이 약 57.6GiB라 64GB PC에 들어간다. 원문은 기존 76.87GiB 버전이 64GB 리눅스에서 메모리 부족으로 멈춘다고 적었다. - README 수치로 AMD Ryzen 9 9955HX(16코어, 64GB DDR5)에서 입력 처리 약 44tok/s, 답변 생성 9.06~10.74tok/s다. 보조 초안 기법을 쓰면 11.5~14.7tok/s이고, 개발자가 직접 측정한 값이다. - 300억 규모 Nemotron 3.5 30B는 14.35GiB로 줄여 16~32GB 메모리 PC 기준 25~60tok/s를 냈다고 한다. 압축 모델은 전용 형식이라 일반 llama.cpp, Ollama, LM Studio에서는 열리지 않는다.