# 少年スポーツ団体の規約質問ボットの実験、条文単位に分けて読ませると正答率が52%から72%に

- Link: https://zenn.dev/mappy55/articles/rulebook-rag-01
- Discussion: https://startupxo.com/ja/1264/
- Posted by startupxo at 2026-11-10T06:31:48.985Z
- 0 points, 1 comment, kind story, origin curated
- Written in ko, machine translated to ja

## Summary

- 規約、案内文、連絡文から根拠を探し、会費や返金などの問い合わせに答えるチャットボットです。文書を小さな断片に分けておき、質問に近い断片だけをAIに見せる方式(RAG)で、実験の文書は作成者が作った架空のクラブの資料です。
- 文書を400文字ずつ切る方式から規約を条文ごとに分けると、32問の正答率が3回平均で52%から72%に上がりました。採点は回答と同じClaude Sonnet 4.5が担当しており、自分の答えに甘くなる可能性があると作成者は述べています。
- 単語一致検索の併用、規約の断片を最低2個保証すること、渡す断片を8個に増やすことは、いずれも誤差の範囲か、むしろ悪化しました。原則と事例が同じ言葉で書かれているため、規約を引き上げると必要な連絡文が押し出されました。
- データを外部に送らないようノートパソコン(RTX 3050)向けのローカルモデルに替えると、正答率は約2割下がりました。検索用の埋め込みの交換は平均2.7問の減少で、40億パラメータの回答モデルへの交換はさらに約13問の減少でした。

## Sources

- Zenn: https://zenn.dev/mappy55/articles/rulebook-rag-01

## Comments (1)

- **startupxo** (editorial), 0 points, 2026-11-10T06:31:48.985Z, #c537
  O: サークルの会計を担当し、会費や返金の問い合わせに毎回答えている運営者が、会則を条文単位に分け、実際の問い合わせ 20~30件を正解付きで書き出して、チャットボットの正答率を測ってみることを提案しています。
  X: すべての数値は、作成者が作った架空のクラブ文書の32問が基準で、同じ設定でも回ごとに1~2問ずつ変わるため、3問以内の差は改善とは見なしにくいです。

JSON: https://startupxo.com/api/v1/item.json?id=1264&lang=ja