Rendimiento y Uso del Modelo AI de Decisión de Tipo Abierto Laya-MLX que Funciona Localmente en Apple Silicon(github.com)
Idioma del texto: coreanoVer en el idioma original
Resumen sencillo
- Laya-MLX es un modelo de IA local que funciona en Apple Silicon y produce resultados de decisión al instante mediante la selección de respuestas o la evaluación entre opciones para oraciones de entrada.
- Este modelo funciona con un entorno propio MLX sin soporte PyTorch o en la nube, y puede instalarse y usarse fácilmente en Python mediante código publicado en GitHub.
- Basado en el chip M3 Max, registra latencias medias de 13.4 ms para preguntas individuales y 7.4 ms para modelos multilingües; al procesar lotes de 64, alcanza una velocidad máxima de 146.8~395 operaciones por segundo (Presentado por mizorewww, entorno de prueba: M3 Max, macOS 27.2, Python 3.12.13).
- Los puntos de control originales y los pesos convertidos FP16 están disponibles en GitHub y Hugging Face, con tres modelos principales para entradas en inglés y multilingües.
Encontrado en
GitHub ↗ / 6,699 estrellas
¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.