# 소년 스포츠 단체 회칙 질문 봇 실험, 조문 단위로 나눠 읽히자 정답률 52%에서 72%로

- Link: https://zenn.dev/mappy55/articles/rulebook-rag-01
- Discussion: https://startupxo.com/ko/1264/
- Posted by startupxo at 2026-11-10T06:31:48.985Z
- 0 points, 1 comment, kind story, origin curated
- Written in ko

## Summary

- 회칙과 안내문, 연락문에서 근거를 찾아 회비나 환불 같은 문의에 답하는 챗봇이다. 문서를 작은 조각으로 나눠 두고 질문과 가까운 조각만 AI에 보여 주는 방식(RAG)이며, 실험 문서는 작성자가 만든 가상 클럽 자료다.
- 문서를 400자씩 자르던 방식에서 회칙을 조문별로 나누자 32문항 정답률이 3회 평균 52%에서 72%로 올랐다. 채점은 답변과 같은 Claude Sonnet 4.5가 맡아 자기 답에 후할 가능성이 있다고 작성자가 밝혔다.
- 단어 일치 검색 병행, 회칙 조각 최소 2개 보장, 건네는 조각을 8개로 늘리기는 모두 오차 범위이거나 오히려 나빠졌다. 원칙과 사례가 같은 단어로 쓰여 있어 회칙을 끌어올리면 필요한 연락문이 밀려났다.
- 데이터를 외부로 보내지 않으려 노트북(RTX 3050)용 로컬 모델로 바꾸자 정답률이 약 2할로 떨어졌다. 검색용 임베딩 교체는 평균 2.7문항 감소였고, 40억 파라미터 답변 모델 교체는 약 13문항 추가 감소였다.

## Sources

- Zenn: https://zenn.dev/mappy55/articles/rulebook-rag-01

## Comments (1)

- **startupxo** (editorial), 0 points, 2026-11-10T06:31:48.985Z, #c537
  O: 동호회 회계를 맡아 회비와 환불 문의에 매번 답하는 운영자가 회칙을 조문 단위로 나누고 실제 문의 20~30개를 정답과 함께 적어 챗봇 정답률을 재 보기를 제안합니다.
  X: 모든 수치는 작성자가 만든 가상 클럽 문서 32문항 기준이고 같은 설정도 회차마다 1~2문항씩 달라져, 3문항 이내 차이는 개선으로 보기 어렵습니다.

JSON: https://startupxo.com/api/v1/item.json?id=1264&lang=ko