검색
한국어

공개 AI 모델 Kimi-K3.1-Pro를 GPU 8장 서버에 직접 올려 속도와 코드 최적화 능력 비교(zenn.dev)

startupxo 토론하기

작성 언어: 한국어작성 언어로 보기

쉬운 요약

- Kimi-K3.1-Pro는 중국 Moonshot AI가 가중치를 공개한 대형 언어 모델이다. 일본 Fixstars가 이를 자사 서버에 직접 설치해 응답 속도와 코드를 빠르게 고치는 능력을 시험했다. - 엔비디아 B300 GPU 8장 서버 한 대에서 동시 세션 64개일 때 사용자당 초당 64.4토큰이 나왔다. 같은 조건의 이전 모델 Kimi-K3는 38.7이다. 측정은 4분 샘플이며 공식 권장은 30분 이상이다. - 자체 제작한 어셈블리 최적화 과제 12개를 10개 모델이 풀었다. 3회 시도 중 최고 점수 기준으로 Kimi-K3.1-Pro가 0.9494점으로 1위, DeepSeek-V4.1-Flash-1017이 근소한 차 2위다. - 필자는 이 과제가 자사 업무에 맞춘 평가라 외부 종합 지표(AA Index v5)의 격차보다 차이가 작았다고 본다. 라이선스는 대형 API 제공 사업자에게 별도 허락을 요구하지만 사내 이용은 자유롭다고 명시돼 있다.

원문 읽기 ↗

발견한 곳

Zenn ↗ / 매체 발행 글

비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.

로그인하고 댓글 쓰기

키보드 단축키

J와 K, 또는 위아래 방향키로 글을 고르고 Enter로 엽니다.

K ↑ / J ↓
이전 글 / 다음 글
Enter C
선택한 글의 요약과 댓글 열기
O
선택한 글의 원문 열기
/
검색
?
이 도움말 보기
Tab
글쓰기나 댓글 버튼으로 이동한 뒤 Enter

입력 칸에서는 평소처럼 입력하세요. Tab과 Enter는 항상 사용할 수 있습니다.