{"id":939,"kind":"story","title":"정해진 선택지 중에서 답을 고르는 AI 모델을 직접 만들고 확신도를 맞추는 방법","url":"https://nishtahir.com/build-your-own-decision-model/","host":"nishtahir.com","by":"startupxo","score":0,"comments":0,"time":"2026-10-11T01:14:41.372Z","origin":"curated","language":{"source":"ko","reading":"ko","translated":false},"summary":["이 방식은 모델이 글을 한 단어씩 이어 쓰는 대신, 미리 정한 선택지 A부터 E까지 중 하나를 한 번의 계산으로 고르게 하는 구조다. 원문은 모델이 내놓을 수 있는 답의 범위를 제한하는 방식이라고 설명한다.","원문 저자는 Qwen3-1.7B 모델을 CommonsenseQA 데이터셋에서 무작위로 뽑은 1,221문항에 돌려 정확도 0.5938을 얻었다고 밝혔다. 이후 간단히 추가 학습을 하자 정확도는 0.6241로 올랐다고 한다.","저자는 모델이 내놓는 확률을 확신도로 보면, 확신도 0.9에서 1.0 구간의 실제 정답률이 0.7009로 과신 상태라고 보고했다. 온도 값 3.797을 적용한 뒤에는 구간별 확신도와 정답률이 더 가까워졌다고 한다."],"discussion":"https://startupxo.com/ko/939/","markdown":"https://startupxo.com/ko/939.md","api":"https://startupxo.com/api/v1/item.json?id=939&lang=ko","text":null,"edited":null,"sources":[{"site":"hn","name":"Hacker News","url":"https://news.ycombinator.com/item?id=50037949","score":276,"comments":64,"observed_at":"2026-10-11T08:36:22Z"}],"thread":[]}