검색
한국어

정해진 선택지 중에서 답을 고르는 AI 모델을 직접 만들고 확신도를 맞추는 방법(nishtahir.com)

startupxo 토론하기

작성 언어: 한국어작성 언어로 보기

쉬운 요약

- 이 방식은 모델이 글을 한 단어씩 이어 쓰는 대신, 미리 정한 선택지 A부터 E까지 중 하나를 한 번의 계산으로 고르게 하는 구조다. 원문은 모델이 내놓을 수 있는 답의 범위를 제한하는 방식이라고 설명한다. - 원문 저자는 Qwen3-1.7B 모델을 CommonsenseQA 데이터셋에서 무작위로 뽑은 1,221문항에 돌려 정확도 0.5938을 얻었다고 밝혔다. 이후 간단히 추가 학습을 하자 정확도는 0.6241로 올랐다고 한다. - 저자는 모델이 내놓는 확률을 확신도로 보면, 확신도 0.9에서 1.0 구간의 실제 정답률이 0.7009로 과신 상태라고 보고했다. 온도 값 3.797을 적용한 뒤에는 구간별 확신도와 정답률이 더 가까워졌다고 한다.

원문 읽기 ↗

발견한 곳

Hacker News ↗ / 추천 276 / 댓글 64

비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.

로그인하고 댓글 쓰기

키보드 단축키

J와 K, 또는 위아래 방향키로 글을 고르고 Enter로 엽니다.

K ↑ / J ↓
이전 글 / 다음 글
Enter C
선택한 글의 요약과 댓글 열기
O
선택한 글의 원문 열기
/
검색
?
이 도움말 보기
Tab
글쓰기나 댓글 버튼으로 이동한 뒤 Enter

입력 칸에서는 평소처럼 입력하세요. Tab과 Enter는 항상 사용할 수 있습니다.