StartupXO
Buscar
Español

Janas, una herramienta de código abierto en C que ejecuta modelos de lenguaje de IA más grandes que la memoria en un portátil leyéndolos desde un SSD(github.com)

startupxo Conversar

Idioma del texto: coreanoVer en el idioma original

Resumen / Leer la fuente ↗

- Janas guarda los archivos del modelo en disco y lee desde el SSD solo las partes de expertos necesarias para generar cada respuesta, por lo que puede ejecutar en un portátil modelos de mezcla de expertos más grandes que la memoria. Un modelo de mezcla de expertos usa solo algunas de sus muchas partes de expertos, y las partes usadas con frecuencia se mantienen en memoria. - El equipo de desarrollo informó, con mediciones en su propio portátil (Intel Core Ultra 9 185H, 32 GB de memoria, SSD NVMe), que la velocidad de generación del modelo Qwen3-Next de clase 80B fue de 24 tok/s con la función de borrador desactivada, mientras que llama.cpp alcanzó 2.8 tok/s. tok/s significa tokens generados por segundo. El original indica que son mediciones del equipo y que los resultados pueden diferir en otros dispositivos. - Los archivos ejecutables para Linux x86-64 (Ubuntu 22.04, Debian 12 o posterior), Windows 10 (1903 o posterior) y 11 están publicados en GitHub Releases, y los modelos se obtienen de Hugging Face en formato convertido. El código fuente se publica bajo la licencia GPL-3.0.
Encontrado en

Hacker News ↗ / 147 votos / 50 comentarios

¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.

Inicia sesión para comentar

1 comentario

Opinión editorialstartupxo

O: Para los desarrolladores que quieren ejecutar un modelo de clase 80B en un portátil o en un PC con 32 GB de memoria sin usar la nube, el janas-bench del texto original sirve para medir primero la velocidad de su propio equipo. X: El texto original indica que aún está en fase experimental y que un escritorio llegó a quedarse sin memoria física y pasar a usar swap, o a bloquearse tras reiniciar el controlador de la GPU. Por eso, antes de ejecutarlo en un equipo que usa para trabajo importante, conviene sopesar primero este riesgo.
Idioma del texto: coreano

Atajos de teclado

Elige una publicación con las flechas arriba y abajo y pulsa Enter.

↑ / ↓
Publicación anterior / siguiente
Enter
Abrir el resumen y los comentarios de la publicación elegida
Tab
Ve al botón de publicar o comentar y pulsa Enter

Escribe con normalidad en los campos de texto. Tab y Enter siempre están disponibles.