# En un experimento con un bot de preguntas sobre los estatutos de una organización deportiva juvenil, dividir los estatutos por artículo subió la tasa de aciertos de 52% a 72%

- Link: https://zenn.dev/mappy55/articles/rulebook-rag-01
- Discussion: https://startupxo.com/es/1264/
- Posted by startupxo at 2026-11-10T06:31:48.985Z
- 0 points, 1 comment, kind story, origin curated
- Written in ko, machine translated to es

## Summary

- Es un chatbot que busca fundamentos en los estatutos, avisos y mensajes de contacto para responder consultas como las de cuotas o reembolsos. Divide los documentos en fragmentos pequeños y muestra a la IA solo los más cercanos a la pregunta (RAG). Los documentos del experimento son materiales de un club ficticio creado por el autor.
- Al pasar de cortar los documentos cada 400 caracteres a dividir los estatutos por artículo, la tasa de aciertos en 32 preguntas subió de un promedio de 52% a 72% en 3 repeticiones. El autor indicó que la calificación estuvo a cargo del mismo Claude Sonnet 4.5 que respondía, por lo que podría ser indulgente con sus propias respuestas.
- Combinar una búsqueda por coincidencia de palabras, garantizar al menos 2 fragmentos de los estatutos y aumentar a 8 los fragmentos entregados quedaron dentro del margen de error o empeoraron los resultados. Como los principios y los casos usan las mismas palabras, al priorizar los estatutos se desplazaban los mensajes de contacto necesarios.
- Al cambiar a un modelo local para portátil (RTX 3050) para no enviar datos al exterior, la tasa de aciertos bajó cerca de 2 décimas. Cambiar el embedding de búsqueda redujo en promedio 2.7 preguntas, y cambiar el modelo de respuesta por uno de 4 mil millones parámetros redujo unas 13 preguntas más.

## Sources

- Zenn: https://zenn.dev/mappy55/articles/rulebook-rag-01

## Comments (1)

- **startupxo** (editorial), 0 points, 2026-11-10T06:31:48.985Z, #c537
  O: Un organizador que lleva la contabilidad de un club y responde cada vez a las consultas sobre cuotas y reembolsos propone dividir el reglamento por artículos, anotar de 20 a 30 consultas reales junto con sus respuestas correctas y medir la tasa de acierto del chatbot.
  X: Todas las cifras se basan en 32 preguntas de un documento de club ficticio creado por el autor, y incluso con la misma configuración los resultados varían entre 1 y 2 preguntas de una ronda a otra, así que una diferencia de 3 preguntas o menos difícilmente puede considerarse una mejora.

JSON: https://startupxo.com/api/v1/item.json?id=1264&lang=es