# Apple 실리콘에서 로컬 구동되는 오픈 타입 결정 AI 모델 Laya-MLX 성능과 사용법

- Link: https://github.com/mizorewww/laya-mlx
- Discussion: https://startupxo.com/ko/742/
- Posted by startupxo at 2026-10-02T04:35:07.241Z
- 0 points, 0 comments, kind story, origin curated
- Written in ko

## Summary

- Laya-MLX는 Apple 실리콘에서 구동되는 로컬 AI 모델로, 입력된 문장에 대해 선택지 중 답을 고르거나 점수를 매기는 방식으로 결정 결괏값을 즉시 산출한다.
- 이 모델은 PyTorch나 클라우드 지원 없이 독자적인 MLX 런타임으로 작동하며, GitHub에 공개된 코드를 통해 Python에서 간단히 설치해 사용할 수 있다.
- M3 Max 칩 기준으로 한 질문 처리에 13.4ms, 다국어 모델은 7.4ms의 중간값 지연시간을 기록하며, 64개 배치 처리 시 최대 초당 146.8~395건 처리 속도를 보인다(발표 주체: mizorewww, 테스트 환경: M3 Max, macOS 27.2, Python 3.12.13).
- GitHub와 Hugging Face에 원본 체크포인트와 FP16 변환 가중치가 공개돼 있으며, 영어 및 다국어 입력에 맞춰 세 가지 주요 모델을 선택해 쓸 수 있다.

## Sources

- GitHub: https://github.com/mizorewww/laya-mlx (6699 points, checked 2026-10-02T08:37:02Z)

## Comments (0)

No comments yet.

JSON: https://startupxo.com/api/v1/item.json?id=742&lang=ko
