'Strata' de código abierto para ejecutar modelos de IA con 125 mil millones parámetros localmente en PCs para juegos(github.com)
Idioma del texto: coreanoVer en el idioma original
Resumen sencillo
- Strata es un proyecto gratuito de código abierto que permite ejecutar grandes modelos de IA con 125 mil millones parámetros (Qwen3.8-Flash-Next) en PCs para juegos típicos con Windows o Linux y tarjetas gráficas NVIDIA o AMD de al menos 12GB.
- Requiere al menos 32GB de RAM y aproximadamente 80GB de espacio de almacenamiento. Durante la instalación, detecta automáticamente la tarjeta gráfica y recomienda el tamaño y configuración adecuados del modelo, apoyando la descarga y ejecución.
- Este modelo supera las limitaciones de memoria utilizando de manera distribuida GPU, RAM, CPU y SSD, lee textos largos a más de 1,000 tokens por segundo y genera respuestas en un rango de 53 a 93 tokens por segundo según el rendimiento de la GPU (pruebas realizadas por el equipo de desarrollo en dos PCs para juegos).
- Compatible con API de OpenAI para integración con otras aplicaciones y agentes de codificación, y al ejecutarse localmente, los datos no se transmiten a nubes externas.
¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.