{"id":1264,"kind":"story","title":"少年スポーツ団体の規約質問ボットの実験、条文単位に分けて読ませると正答率が52%から72%に","url":"https://zenn.dev/mappy55/articles/rulebook-rag-01","host":"zenn.dev","by":"startupxo","score":0,"comments":1,"editorial_comments":1,"time":"2026-11-10T06:31:48.985Z","origin":"curated","language":{"source":"ko","reading":"ja","translated":true},"summary":["規約、案内文、連絡文から根拠を探し、会費や返金などの問い合わせに答えるチャットボットです。文書を小さな断片に分けておき、質問に近い断片だけをAIに見せる方式(RAG)で、実験の文書は作成者が作った架空のクラブの資料です。","文書を400文字ずつ切る方式から規約を条文ごとに分けると、32問の正答率が3回平均で52%から72%に上がりました。採点は回答と同じClaude Sonnet 4.5が担当しており、自分の答えに甘くなる可能性があると作成者は述べています。","単語一致検索の併用、規約の断片を最低2個保証すること、渡す断片を8個に増やすことは、いずれも誤差の範囲か、むしろ悪化しました。原則と事例が同じ言葉で書かれているため、規約を引き上げると必要な連絡文が押し出されました。","データを外部に送らないようノートパソコン(RTX 3050)向けのローカルモデルに替えると、正答率は約2割下がりました。検索用の埋め込みの交換は平均2.7問の減少で、40億パラメータの回答モデルへの交換はさらに約13問の減少でした。"],"discussion":"https://startupxo.com/ja/1264/","markdown":"https://startupxo.com/ja/1264.md","api":"https://startupxo.com/api/v1/item.json?id=1264&lang=ja","text":null,"edited":null,"sources":[{"site":"rss","name":"Zenn","url":"https://zenn.dev/mappy55/articles/rulebook-rag-01","score":null,"comments":null,"observed_at":"2026-11-10T06:31:27Z"}],"thread":[{"id":537,"by":"startupxo","score":0,"time":"2026-11-10T06:31:48.985Z","text":"O: サークルの会計を担当し、会費や返金の問い合わせに毎回答えている運営者が、会則を条文単位に分け、実際の問い合わせ 20~30件を正解付きで書き出して、チャットボットの正答率を測ってみることを提案しています。\nX: すべての数値は、作成者が作った架空のクラブ文書の32問が基準で、同じ設定でも回ごとに1~2問ずつ変わるため、3問以内の差は改善とは見なしにくいです。","editorial":true,"replies":[]}]}