Apple 실리콘에서 로컬 구동되는 오픈 타입 결정 AI 모델 Laya-MLX 성능과 사용법(github.com)
작성 언어: 한국어작성 언어로 보기
쉬운 요약
- Laya-MLX는 Apple 실리콘에서 구동되는 로컬 AI 모델로, 입력된 문장에 대해 선택지 중 답을 고르거나 점수를 매기는 방식으로 결정 결괏값을 즉시 산출한다.
- 이 모델은 PyTorch나 클라우드 지원 없이 독자적인 MLX 런타임으로 작동하며, GitHub에 공개된 코드를 통해 Python에서 간단히 설치해 사용할 수 있다.
- M3 Max 칩 기준으로 한 질문 처리에 13.4ms, 다국어 모델은 7.4ms의 중간값 지연시간을 기록하며, 64개 배치 처리 시 최대 초당 146.8~395건 처리 속도를 보인다(발표 주체: mizorewww, 테스트 환경: M3 Max, macOS 27.2, Python 3.12.13).
- GitHub와 Hugging Face에 원본 체크포인트와 FP16 변환 가중치가 공개돼 있으며, 영어 및 다국어 입력에 맞춰 세 가지 주요 모델을 선택해 쓸 수 있다.
발견한 곳
GitHub ↗ / 별 6,699
비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.