메모리보다 큰 AI 언어 모델을 SSD에서 읽어 노트북에서 돌리는 오픈소스 C 도구 Janas(github.com)

- Janas는 모델 파일을 디스크에 두고, 답을 만들 때 필요한 전문가 부분만 SSD에서 읽어 와서 메모리보다 큰 혼합 전문가 모델을 노트북에서 돌리는 도구다. 혼합 전문가 모델은 여러 전문가 부분 중 일부만 골라 쓰는 구조이며, 자주 쓰이는 부분은 메모리에 남겨 둔다. - 개발팀이 자사 노트북(Intel Core Ultra 9 185H, 메모리 32GB, NVMe SSD)에서 잰 값으로, 80B급 Qwen3-Next 모델의 쓰기 속도는 초안 기능을 끈 상태에서 24 tok/s, llama.cpp는 2.8 tok/s였다고 밝혔다. tok/s는 초당 생성 토큰 수다. 이는 개발팀의 측정이며 다른 기기에서는 결과가 다를 수 있다고 원문은 밝힌다. - 리눅스 x86-64(Ubuntu 22.04, Debian 12 이상)와 윈도우 10(1903 이상) 및 11용 실행 파일이 GitHub 릴리스에 올라와 있고, 모델은 Hugging Face에서 변환된 형태로 받는다. 소스 코드는 GPL-3.0 라이선스로 공개되어 있다.