En un experimento con un bot de preguntas sobre los estatutos de una organización deportiva juvenil, dividir los estatutos por artículo subió la tasa de aciertos de 52% a 72%(zenn.dev)

- Es un chatbot que busca fundamentos en los estatutos, avisos y mensajes de contacto para responder consultas como las de cuotas o reembolsos. Divide los documentos en fragmentos pequeños y muestra a la IA solo los más cercanos a la pregunta (RAG). Los documentos del experimento son materiales de un club ficticio creado por el autor. - Al pasar de cortar los documentos cada 400 caracteres a dividir los estatutos por artículo, la tasa de aciertos en 32 preguntas subió de un promedio de 52% a 72% en 3 repeticiones. El autor indicó que la calificación estuvo a cargo del mismo Claude Sonnet 4.5 que respondía, por lo que podría ser indulgente con sus propias respuestas. - Combinar una búsqueda por coincidencia de palabras, garantizar al menos 2 fragmentos de los estatutos y aumentar a 8 los fragmentos entregados quedaron dentro del margen de error o empeoraron los resultados. Como los principios y los casos usan las mismas palabras, al priorizar los estatutos se desplazaban los mensajes de contacto necesarios. - Al cambiar a un modelo local para portátil (RTX 3050) para no enviar datos al exterior, la tasa de aciertos bajó cerca de 2 décimas. Cambiar el embedding de búsqueda redujo en promedio 2.7 preguntas, y cambiar el modelo de respuesta por uno de 4 mil millones parámetros redujo unas 13 preguntas más.