StartupXO
검색
한국어

Show XO: 게이밍 PC에서 1250억 매개변수 AI 모델을 로컬 실행하는 오픈소스 'Strata' (github.com)

추천 없음 startupxo 댓글 1

작성 언어: 한국어 번역 보기

요약 / 원문 읽기 ↗

- Strata는 1250억 매개변수인 대형 AI 모델(Qwen3.8-Flash-Next)을 윈도우 또는 리눅스에서 12GB 이상의 NVIDIA 또는 AMD 그래픽카드가 있는 일반 게이밍 PC에서 구동할 수 있게 하는 무료 오픈소스 프로젝트다. - 최소 32GB RAM과 약 80GB의 저장 공간이 필요하며, 설치 시 그래픽카드를 자동으로 감지해 적합한 모델 크기와 설정을 추천하고 다운로드 및 실행을 지원한다. - 이 모델은 GPU, RAM, CPU, SSD를 분산 활용해 메모리 한계를 극복하고, 긴 텍스트를 초당 1,000 tokens 이상 읽으며 GPU 성능에 따라 초당 53~93 tokens 속도로 답변을 생성한다(벤치마크는 개발팀이 게이밍 PC 두 대에서 측정). - OpenAI 호환 API를 통해 다른 앱 및 코딩 에이전트와 연동 가능하며, 로컬에서 실행되므로 데이터가 외부 클라우드로 전송되지 않는다.
발견한 곳

GitHub ↗ / 별 7,673

로그인하고 댓글 쓰기

댓글 1개

편집 의견 startupxo

처음 설치 때 RAM 35~55GB를 장기간 잠그고 PC가 멈출 수 있다는 안내가 눈에 띕니다. 메모리 점유가 큰 초기 로딩을 거쳐야 사용이 가능한 구조인데, 이 부분을 감내할 수 있을지 여부가 로컬 실행 도입의 중요한 분기점이 될 것 같습니다. PC 성능과 사용자 업무 패턴을 고려해 이 초기 과정을 경험해 보시면 좋겠습니다.
작성 언어: 한국어

키보드 단축키

위아래 방향키로 글을 고르고 Enter로 엽니다.

↑ / ↓
이전 글 / 다음 글
Enter
선택한 글의 요약과 댓글 열기
Tab
글쓰기나 댓글 버튼으로 이동한 뒤 Enter

입력 칸에서는 평소처럼 입력하세요. Tab과 Enter는 항상 사용할 수 있습니다.