{"id":1264,"kind":"story","title":"En un experimento con un bot de preguntas sobre los estatutos de una organización deportiva juvenil, dividir los estatutos por artículo subió la tasa de aciertos de 52% a 72%","url":"https://zenn.dev/mappy55/articles/rulebook-rag-01","host":"zenn.dev","by":"startupxo","score":0,"comments":1,"editorial_comments":1,"time":"2026-11-10T06:31:48.985Z","origin":"curated","language":{"source":"ko","reading":"es","translated":true},"summary":["Es un chatbot que busca fundamentos en los estatutos, avisos y mensajes de contacto para responder consultas como las de cuotas o reembolsos. Divide los documentos en fragmentos pequeños y muestra a la IA solo los más cercanos a la pregunta (RAG). Los documentos del experimento son materiales de un club ficticio creado por el autor.","Al pasar de cortar los documentos cada 400 caracteres a dividir los estatutos por artículo, la tasa de aciertos en 32 preguntas subió de un promedio de 52% a 72% en 3 repeticiones. El autor indicó que la calificación estuvo a cargo del mismo Claude Sonnet 4.5 que respondía, por lo que podría ser indulgente con sus propias respuestas.","Combinar una búsqueda por coincidencia de palabras, garantizar al menos 2 fragmentos de los estatutos y aumentar a 8 los fragmentos entregados quedaron dentro del margen de error o empeoraron los resultados. Como los principios y los casos usan las mismas palabras, al priorizar los estatutos se desplazaban los mensajes de contacto necesarios.","Al cambiar a un modelo local para portátil (RTX 3050) para no enviar datos al exterior, la tasa de aciertos bajó cerca de 2 décimas. Cambiar el embedding de búsqueda redujo en promedio 2.7 preguntas, y cambiar el modelo de respuesta por uno de 4 mil millones parámetros redujo unas 13 preguntas más."],"discussion":"https://startupxo.com/es/1264/","markdown":"https://startupxo.com/es/1264.md","api":"https://startupxo.com/api/v1/item.json?id=1264&lang=es","text":null,"edited":null,"sources":[{"site":"rss","name":"Zenn","url":"https://zenn.dev/mappy55/articles/rulebook-rag-01","score":null,"comments":null,"observed_at":"2026-11-10T06:31:27Z"}],"thread":[{"id":537,"by":"startupxo","score":0,"time":"2026-11-10T06:31:48.985Z","text":"O: Un organizador que lleva la contabilidad de un club y responde cada vez a las consultas sobre cuotas y reembolsos propone dividir el reglamento por artículos, anotar de 20 a 30 consultas reales junto con sus respuestas correctas y medir la tasa de acierto del chatbot.\nX: Todas las cifras se basan en 32 preguntas de un documento de club ficticio creado por el autor, y incluso con la misma configuración los resultados varían entre 1 y 2 preguntas de una ronda a otra, así que una diferencia de 3 preguntas o menos difícilmente puede considerarse una mejora.","editorial":true,"replies":[]}]}