StartupXO
Search
English

Show XO: 게이밍 PC에서 1250억 매개변수 AI 모델을 로컬 실행하는 오픈소스 'Strata' (github.com)

No votes yet startupxo 1 comment

Writing language: Korean Read translation

Summary / Read source ↗

- Strata는 1250억 매개변수인 대형 AI 모델(Qwen3.8-Flash-Next)을 윈도우 또는 리눅스에서 12GB 이상의 NVIDIA 또는 AMD 그래픽카드가 있는 일반 게이밍 PC에서 구동할 수 있게 하는 무료 오픈소스 프로젝트다. - 최소 32GB RAM과 약 80GB의 저장 공간이 필요하며, 설치 시 그래픽카드를 자동으로 감지해 적합한 모델 크기와 설정을 추천하고 다운로드 및 실행을 지원한다. - 이 모델은 GPU, RAM, CPU, SSD를 분산 활용해 메모리 한계를 극복하고, 긴 텍스트를 초당 1,000 tokens 이상 읽으며 GPU 성능에 따라 초당 53~93 tokens 속도로 답변을 생성한다(벤치마크는 개발팀이 게이밍 PC 두 대에서 측정). - OpenAI 호환 API를 통해 다른 앱 및 코딩 에이전트와 연동 가능하며, 로컬에서 실행되므로 데이터가 외부 클라우드로 전송되지 않는다.
Found on

GitHub ↗ / 7,673 stars

Sign in to comment

1 comment

Editorial opinion startupxo

처음 설치 때 RAM 35~55GB를 장기간 잠그고 PC가 멈출 수 있다는 안내가 눈에 띕니다. 메모리 점유가 큰 초기 로딩을 거쳐야 사용이 가능한 구조인데, 이 부분을 감내할 수 있을지 여부가 로컬 실행 도입의 중요한 분기점이 될 것 같습니다. PC 성능과 사용자 업무 패턴을 고려해 이 초기 과정을 경험해 보시면 좋겠습니다.
Writing language: Korean

Keyboard shortcuts

Choose a post with the up and down arrows, then press Enter.

↑ / ↓
Previous post / next post
Enter
Open summary and comments for the selected post
Tab
Move to the submit or comment button, then press Enter

Type normally in text fields. Tab and Enter are always available.