Show XO: Apple 실리콘에서 로컬 구동되는 오픈 타입 결정 AI 모델 Laya-MLX 성능과 사용법 (github.com)

- Laya-MLX는 Apple 실리콘에서 구동되는 로컬 AI 모델로, 입력된 문장에 대해 선택지 중 답을 고르거나 점수를 매기는 방식으로 결정 결괏값을 즉시 산출한다. - 이 모델은 PyTorch나 클라우드 지원 없이 독자적인 MLX 런타임으로 작동하며, GitHub에 공개된 코드를 통해 Python에서 간단히 설치해 사용할 수 있다. - M3 Max 칩 기준으로 한 질문 처리에 13.4ms, 다국어 모델은 7.4ms의 중간값 지연시간을 기록하며, 64개 배치 처리 시 최대 초당 146.8~395건 처리 속도를 보인다(발표 주체: mizorewww, 테스트 환경: M3 Max, macOS 27.2, Python 3.12.13). - GitHub와 Hugging Face에 원본 체크포인트와 FP16 변환 가중치가 공개돼 있으며, 영어 및 다국어 입력에 맞춰 세 가지 주요 모델을 선택해 쓸 수 있다.