Find XO: 빠른 실험과 저지연 결정을 지원하는 20억 매개변수 오픈소스 선택 모델 (strandsagents.com)

- Strands Decider 2B는 텍스트를 생성하는 일반 대형 언어 모델과 달리, 미리 정해진 답변 중에서 가장 적합한 선택을 빠르게 결정하는 작은 크기의 오픈소스 AI 모델이다. - 이 모델은 20억 매개변수로 구성되어 있으며, NVIDIA RTX3090 그래픽카드 기준으로 질문에 대한 답변을 평균 약 115밀리초 만에 제공하고, 애플 M3 맥북에서도 약 153밀리초 정도의 저지연 성능을 보인다. - 정확도와 신뢰도(칼리브레이션)는 JevBench 데이터셋에서 테스트한 결과, 같은 규모 모델 중 상위권에 속한다는 것이 Strands 팀 측의 발표다. - 텍스트 생성 기능이 없으므로 코딩, 채팅, 문서 요약 같은 일반 언어 모델 작업에는 적합하지 않지만, 단순 의사결정, 도구 선택, 모델 라우팅 같은 작업에 활용하기 알맞다.