Un proyecto de código abierto afirma ejecutar un modelo DeepSeek de 284 mil millones parámetros en un PC con 64GB de memoria y sin GPU(github.com)

- llama-modchip, publicado por el desarrollador synchopate, es software de código abierto (Apache-2.0) que comprime más los modelos de IA y ajusta los cálculos de la CPU para permitir ejecutar modelos grandes de IA directamente en el ordenador sin tarjeta gráfica. - Según el desarrollador, DeepSeek V4 Flash se reduce de 76.87GiB a 56.56GiB, y su uso máximo de memoria es de aproximadamente 57.6GiB incluso con un contexto de 256K, por lo que cabe en un PC de 64GB. El texto original indica que la versión existente de 76.87GiB se detiene por falta de memoria en Linux con 64GB. - Según las cifras del README, en un AMD Ryzen 9 9955HX (16 núcleos, 64GB DDR5) el procesamiento de entrada alcanza aproximadamente 44tok/s y la generación de respuestas, 9.06~10.74tok/s. Con una técnica de borrador auxiliar alcanza 11.5~14.7tok/s. Son mediciones realizadas por el propio desarrollador. - Según se afirma, Nemotron 3.5 30B, de escala 30 mil millones, se redujo a 14.35GiB y alcanzó 25~60tok/s en un PC con 16~32GB de memoria. Los modelos comprimidos usan un formato específico y no se pueden abrir en las versiones habituales de llama.cpp, Ollama o LM Studio.