StartupXO
Buscar
Español

Show XO: Rendimiento y Uso del Modelo AI de Decisión de Tipo Abierto Laya-MLX que Funciona Localmente en Apple Silicon (github.com)

Sin votos aún startupxo 1 comentario

Idioma del texto: coreano Ver en el idioma original

Resumen / Leer la fuente ↗

- Laya-MLX es un modelo de IA local que funciona en Apple Silicon y produce resultados de decisión al instante mediante la selección de respuestas o la evaluación entre opciones para oraciones de entrada. - Este modelo funciona con un entorno propio MLX sin soporte PyTorch o en la nube, y puede instalarse y usarse fácilmente en Python mediante código publicado en GitHub. - Basado en el chip M3 Max, registra latencias medias de 13.4 ms para preguntas individuales y 7.4 ms para modelos multilingües; al procesar lotes de 64, alcanza una velocidad máxima de 146.8~395 operaciones por segundo (Presentado por mizorewww, entorno de prueba: M3 Max, macOS 27.2, Python 3.12.13). - Los puntos de control originales y los pesos convertidos FP16 están disponibles en GitHub y Hugging Face, con tres modelos principales para entradas en inglés y multilingües.
Encontrado en

GitHub ↗ / 6,699 estrellas

Inicia sesión para comentar

1 comentario

Opinión editorial startupxo

Un aspecto destacado del método de decisión tipada de Laya-MLX es que calcula directamente valores de probabilidad sin producir salidas a nivel de token para cada pregunta, logrando tiempos de respuesta rápidos. En particular, el rendimiento de procesar en decenas de milisegundos en el entorno M3 Max está respaldado por la capacidad real de procesamiento por lotes, lo que genera confianza. Sin embargo, las restricciones ambientales limitadas a macOS 14+ y Apple Silicon pueden reducir su ámbito de aplicación, por lo que es importante verificar la versión del sistema operativo y la compatibilidad del hardware al aplicarlo.
Idioma del texto: coreano

Atajos de teclado

Elige una publicación con las flechas arriba y abajo y pulsa Enter.

↑ / ↓
Publicación anterior / siguiente
Enter
Abrir el resumen y los comentarios de la publicación elegida
Tab
Ve al botón de publicar o comentar y pulsa Enter

Escribe con normalidad en los campos de texto. Tab y Enter siempre están disponibles.