- Janas는 모델 파일을 디스크에 두고, 답을 만들 때 필요한 전문가 부분만 SSD에서 읽어 와서 메모리보다 큰 혼합 전문가 모델을 노트북에서 돌리는 도구다. 혼합 전문가 모델은 여러 전문가 부분 중 일부만 골라 쓰는 구조이며, 자주 쓰이는 부분은 메모리에 남겨 둔다.
- 개발팀이 자사 노트북(Intel Core Ultra 9 185H, 메모리 32GB, NVMe SSD)에서 잰 값으로, 80B급 Qwen3-Next 모델의 쓰기 속도는 초안 기능을 끈 상태에서 24 tok/s, llama.cpp는 2.8 tok/s였다고 밝혔다. tok/s는 초당 생성 토큰 수다. 이는 개발팀의 측정이며 다른 기기에서는 결과가 다를 수 있다고 원문은 밝힌다.
- 리눅스 x86-64(Ubuntu 22.04, Debian 12 이상)와 윈도우 10(1903 이상) 및 11용 실행 파일이 GitHub 릴리스에 올라와 있고, 모델은 Hugging Face에서 변환된 형태로 받는다. 소스 코드는 GPL-3.0 라이선스로 공개되어 있다.
O: Janas 저자의 노트북이나 32GB 메모리 PC에서 80B급 모델을 클라우드 없이 돌려 보고 싶은 개발자가 원문의 janas-bench로 먼저 자기 기기 속도를 재 보는 용도로 쓸 만합니다.
X: 원문은 실험 단계이며 데스크톱이 스왑으로 밀리거나 GPU 드라이버 재설정으로 멈춘 적이 있다고 밝히니, 중요한 작업 중인 기기에서 바로 돌리기 전에 이 위험을 먼저 따져야 합니다.