게이밍 PC에서 1250억 매개변수 AI 모델을 로컬 실행하는 오픈소스 'Strata'(github.com)
작성 언어: 한국어작성 언어로 보기
쉬운 요약
- Strata는 1250억 매개변수인 대형 AI 모델(Qwen3.8-Flash-Next)을 윈도우 또는 리눅스에서 12GB 이상의 NVIDIA 또는 AMD 그래픽카드가 있는 일반 게이밍 PC에서 구동할 수 있게 하는 무료 오픈소스 프로젝트다.
- 최소 32GB RAM과 약 80GB의 저장 공간이 필요하며, 설치 시 그래픽카드를 자동으로 감지해 적합한 모델 크기와 설정을 추천하고 다운로드 및 실행을 지원한다.
- 이 모델은 GPU, RAM, CPU, SSD를 분산 활용해 메모리 한계를 극복하고, 긴 텍스트를 초당 1,000 tokens 이상 읽으며 GPU 성능에 따라 초당 53~93 tokens 속도로 답변을 생성한다(벤치마크는 개발팀이 게이밍 PC 두 대에서 측정).
- OpenAI 호환 API를 통해 다른 앱 및 코딩 에이전트와 연동 가능하며, 로컬에서 실행되므로 데이터가 외부 클라우드로 전송되지 않는다.
비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.