少年スポーツ団体の規約質問ボットの実験、条文単位に分けて読ませると正答率が52%から72%に(zenn.dev)

- 規約、案内文、連絡文から根拠を探し、会費や返金などの問い合わせに答えるチャットボットです。文書を小さな断片に分けておき、質問に近い断片だけをAIに見せる方式(RAG)で、実験の文書は作成者が作った架空のクラブの資料です。 - 文書を400文字ずつ切る方式から規約を条文ごとに分けると、32問の正答率が3回平均で52%から72%に上がりました。採点は回答と同じClaude Sonnet 4.5が担当しており、自分の答えに甘くなる可能性があると作成者は述べています。 - 単語一致検索の併用、規約の断片を最低2個保証すること、渡す断片を8個に増やすことは、いずれも誤差の範囲か、むしろ悪化しました。原則と事例が同じ言葉で書かれているため、規約を引き上げると必要な連絡文が押し出されました。 - データを外部に送らないようノートパソコン(RTX 3050)向けのローカルモデルに替えると、正答率は約2割下がりました。検索用の埋め込みの交換は平均2.7問の減少で、40億パラメータの回答モデルへの交換はさらに約13問の減少でした。