빠른 실험과 저지연 결정을 지원하는 20억 매개변수 오픈소스 선택 모델(strandsagents.com)
작성 언어: 한국어작성 언어로 보기
쉬운 요약
- Strands Decider 2B는 텍스트를 생성하는 일반 대형 언어 모델과 달리, 미리 정해진 답변 중에서 가장 적합한 선택을 빠르게 결정하는 작은 크기의 오픈소스 AI 모델이다.
- 이 모델은 20억 매개변수로 구성되어 있으며, NVIDIA RTX3090 그래픽카드 기준으로 질문에 대한 답변을 평균 약 115밀리초 만에 제공하고, 애플 M3 맥북에서도 약 153밀리초 정도의 저지연 성능을 보인다.
- 정확도와 신뢰도(칼리브레이션)는 JevBench 데이터셋에서 테스트한 결과, 같은 규모 모델 중 상위권에 속한다는 것이 Strands 팀 측의 발표다.
- 텍스트 생성 기능이 없으므로 코딩, 채팅, 문서 요약 같은 일반 언어 모델 작업에는 적합하지 않지만, 단순 의사결정, 도구 선택, 모델 라우팅 같은 작업에 활용하기 알맞다.
발견한 곳
Hacker News ↗ / 추천 160 / 댓글 38
비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.