في تجربة لروبوت أسئلة حول لوائح منظمة رياضية للناشئين، أدى تقسيم اللوائح حسب المادة إلى رفع نسبة الإجابات الصحيحة من 52% إلى 72%(zenn.dev)
لغة الكتابة: الكوريةعرض بلغة الكتابة
ملخص مبسط
- هو روبوت دردشة يبحث عن الأدلة في اللوائح والإرشادات ورسائل التواصل للإجابة عن استفسارات مثل الرسوم أو استرداد الأموال. يقسم المستندات إلى قطع صغيرة ولا يعرض على الذكاء الاصطناعي إلا القطع الأقرب إلى السؤال (RAG). ومستندات التجربة مواد لنادٍ افتراضي أنشأه المؤلف.
- عند الانتقال من قص المستندات كل 400 حرفًا إلى تقسيم اللوائح حسب المادة، ارتفعت نسبة الإجابات الصحيحة في 32 سؤالًا من متوسط 52% إلى 72% على مدى 3 مرات. وذكر المؤلف أن التقييم تولاه نفس Claude Sonnet 4.5 الذي يجيب، فقد يكون متساهلًا مع إجاباته.
- إضافة بحث بمطابقة الكلمات، وضمان 2 قطع على الأقل من اللوائح، وزيادة القطع المقدمة إلى 8، كلها كانت ضمن هامش الخطأ أو ساءت النتائج. ولأن المبادئ والحالات مكتوبة بالكلمات نفسها، فإن رفع اللوائح أزاح رسائل التواصل اللازمة.
- عند التحول إلى نموذج محلي لحاسوب محمول (RTX 3050) لتجنب إرسال البيانات إلى الخارج، انخفضت نسبة الإجابات الصحيحة بنحو 2 أعشار. وأدى استبدال التضمين المستخدم في البحث إلى انخفاض بمتوسط 2.7 سؤالًا، وأدى استبدال نموذج الإجابة بنموذج بحجم 4 مليار معامل إلى انخفاض إضافي بنحو 13 سؤالًا.
رأي التحرير
O: يقترح أحد منظمي النادي، وهو المسؤول عن الحسابات ويجيب في كل مرة عن استفسارات الرسوم والاسترداد، تقسيم لائحة النادي إلى مواد منفصلة، وتدوين ما بين 20 و30 من الاستفسارات الفعلية مع إجاباتها الصحيحة، ثم قياس نسبة الإجابات الصحيحة لدى روبوت الدردشة.
X: جميع الأرقام مبنية على 32 سؤالاً من وثيقة نادٍ افتراضي أعدّها الكاتب، وحتى مع الإعدادات نفسها تتفاوت النتائج بين 1 و2 سؤالاً من جولة إلى أخرى، لذا يصعب اعتبار فرق لا يتجاوز 3 سؤالاً تحسناً.
لغة الكتابة: الكورية
وجدناه على
Zenn ↗ / نشره المصدر
هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.