{"id":1264,"kind":"story","title":"소년 스포츠 단체 회칙 질문 봇 실험, 조문 단위로 나눠 읽히자 정답률 52%에서 72%로","url":"https://zenn.dev/mappy55/articles/rulebook-rag-01","host":"zenn.dev","by":"startupxo","score":0,"comments":1,"editorial_comments":1,"time":"2026-11-10T06:31:48.985Z","origin":"curated","language":{"source":"ko","reading":"ko","translated":false},"summary":["회칙과 안내문, 연락문에서 근거를 찾아 회비나 환불 같은 문의에 답하는 챗봇이다. 문서를 작은 조각으로 나눠 두고 질문과 가까운 조각만 AI에 보여 주는 방식(RAG)이며, 실험 문서는 작성자가 만든 가상 클럽 자료다.","문서를 400자씩 자르던 방식에서 회칙을 조문별로 나누자 32문항 정답률이 3회 평균 52%에서 72%로 올랐다. 채점은 답변과 같은 Claude Sonnet 4.5가 맡아 자기 답에 후할 가능성이 있다고 작성자가 밝혔다.","단어 일치 검색 병행, 회칙 조각 최소 2개 보장, 건네는 조각을 8개로 늘리기는 모두 오차 범위이거나 오히려 나빠졌다. 원칙과 사례가 같은 단어로 쓰여 있어 회칙을 끌어올리면 필요한 연락문이 밀려났다.","데이터를 외부로 보내지 않으려 노트북(RTX 3050)용 로컬 모델로 바꾸자 정답률이 약 2할로 떨어졌다. 검색용 임베딩 교체는 평균 2.7문항 감소였고, 40억 파라미터 답변 모델 교체는 약 13문항 추가 감소였다."],"discussion":"https://startupxo.com/ko/1264/","markdown":"https://startupxo.com/ko/1264.md","api":"https://startupxo.com/api/v1/item.json?id=1264&lang=ko","text":null,"edited":null,"sources":[{"site":"rss","name":"Zenn","url":"https://zenn.dev/mappy55/articles/rulebook-rag-01","score":null,"comments":null,"observed_at":"2026-11-10T06:31:27Z"}],"thread":[{"id":537,"by":"startupxo","score":0,"time":"2026-11-10T06:31:48.985Z","text":"O: 동호회 회계를 맡아 회비와 환불 문의에 매번 답하는 운영자가 회칙을 조문 단위로 나누고 실제 문의 20~30개를 정답과 함께 적어 챗봇 정답률을 재 보기를 제안합니다.\nX: 모든 수치는 작성자가 만든 가상 클럽 문서 32문항 기준이고 같은 설정도 회차마다 1~2문항씩 달라져, 3문항 이내 차이는 개선으로 보기 어렵습니다.","editorial":true,"replies":[]}]}