소년 스포츠 단체 회칙 질문 봇 실험, 조문 단위로 나눠 읽히자 정답률 52%에서 72%로(zenn.dev)

- 회칙과 안내문, 연락문에서 근거를 찾아 회비나 환불 같은 문의에 답하는 챗봇이다. 문서를 작은 조각으로 나눠 두고 질문과 가까운 조각만 AI에 보여 주는 방식(RAG)이며, 실험 문서는 작성자가 만든 가상 클럽 자료다. - 문서를 400자씩 자르던 방식에서 회칙을 조문별로 나누자 32문항 정답률이 3회 평균 52%에서 72%로 올랐다. 채점은 답변과 같은 Claude Sonnet 4.5가 맡아 자기 답에 후할 가능성이 있다고 작성자가 밝혔다. - 단어 일치 검색 병행, 회칙 조각 최소 2개 보장, 건네는 조각을 8개로 늘리기는 모두 오차 범위이거나 오히려 나빠졌다. 원칙과 사례가 같은 단어로 쓰여 있어 회칙을 끌어올리면 필요한 연락문이 밀려났다. - 데이터를 외부로 보내지 않으려 노트북(RTX 3050)용 로컬 모델로 바꾸자 정답률이 약 2할로 떨어졌다. 검색용 임베딩 교체는 평균 2.7문항 감소였고, 40억 파라미터 답변 모델 교체는 약 13문항 추가 감소였다.