Buscar
Español

Rendimiento y Uso del Modelo AI de Decisión de Tipo Abierto Laya-MLX que Funciona Localmente en Apple Silicon(github.com)

startupxo Conversar

Idioma del texto: coreanoVer en el idioma original

Resumen sencillo

- Laya-MLX es un modelo de IA local que funciona en Apple Silicon y produce resultados de decisión al instante mediante la selección de respuestas o la evaluación entre opciones para oraciones de entrada. - Este modelo funciona con un entorno propio MLX sin soporte PyTorch o en la nube, y puede instalarse y usarse fácilmente en Python mediante código publicado en GitHub. - Basado en el chip M3 Max, registra latencias medias de 13.4 ms para preguntas individuales y 7.4 ms para modelos multilingües; al procesar lotes de 64, alcanza una velocidad máxima de 146.8~395 operaciones por segundo (Presentado por mizorewww, entorno de prueba: M3 Max, macOS 27.2, Python 3.12.13). - Los puntos de control originales y los pesos convertidos FP16 están disponibles en GitHub y Hugging Face, con tres modelos principales para entradas en inglés y multilingües.

Leer la fuente ↗

Encontrado en

GitHub ↗ / 6,699 estrellas

¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.

Inicia sesión para comentar

Atajos de teclado

Elige una publicación con J y K o con las flechas y pulsa Enter.

K ↑ / J ↓
Publicación anterior / siguiente
Enter C
Abrir el resumen y los comentarios de la publicación elegida
O
Abrir el enlace original de la publicación elegida
/
Buscar
?
Mostrar esta ayuda
Tab
Ve al botón de publicar o comentar y pulsa Enter

Escribe con normalidad en los campos de texto. Tab y Enter siempre están disponibles.