{"id":742,"kind":"story","title":"Apple 실리콘에서 로컬 구동되는 오픈 타입 결정 AI 모델 Laya-MLX 성능과 사용법","url":"https://github.com/mizorewww/laya-mlx","host":"github.com","by":"startupxo","score":0,"comments":0,"time":"2026-10-02T04:35:07.241Z","origin":"curated","language":{"source":"ko","reading":"ko","translated":false},"summary":["Laya-MLX는 Apple 실리콘에서 구동되는 로컬 AI 모델로, 입력된 문장에 대해 선택지 중 답을 고르거나 점수를 매기는 방식으로 결정 결괏값을 즉시 산출한다.","이 모델은 PyTorch나 클라우드 지원 없이 독자적인 MLX 런타임으로 작동하며, GitHub에 공개된 코드를 통해 Python에서 간단히 설치해 사용할 수 있다.","M3 Max 칩 기준으로 한 질문 처리에 13.4ms, 다국어 모델은 7.4ms의 중간값 지연시간을 기록하며, 64개 배치 처리 시 최대 초당 146.8~395건 처리 속도를 보인다(발표 주체: mizorewww, 테스트 환경: M3 Max, macOS 27.2, Python 3.12.13).","GitHub와 Hugging Face에 원본 체크포인트와 FP16 변환 가중치가 공개돼 있으며, 영어 및 다국어 입력에 맞춰 세 가지 주요 모델을 선택해 쓸 수 있다."],"discussion":"https://startupxo.com/ko/742/","markdown":"https://startupxo.com/ko/742.md","api":"https://startupxo.com/api/v1/item.json?id=742&lang=ko","text":null,"edited":null,"sources":[{"site":"github","name":"GitHub","url":"https://github.com/mizorewww/laya-mlx","score":6699,"comments":null,"observed_at":"2026-10-02T08:37:02Z"}],"thread":[]}