- قالت آيرين سولايمان، كبيرة مسؤولي السياسات في Hugging Face، خلال نقاش في فعالية TechCrunch Disrupt، إن أساليب تقييم نماذج الذكاء الاصطناعي ما زالت في طور التطور.
- وأوضحت سولايمان أنه لكي يوثق بنتائج التقييم، تهم قابلية التكرار، أي هل يمكن الحصول على النتائج نفسها مرة أخرى، وأن نشر الأوزان المفتوحة يؤثر في ذلك تأثيرا كبيرا.
- يتسع نطاق التقييم من النموذج نفسه ليشمل البيئة الأداتية (البيئة الأدوات التي يصل المستخدم من خلالها إلى النموذج) والوكيل بأكمله. وقالت سولايمان إن الفروق في البيئة الأداتية قد تجعل نموذجا أضعف يحقق نتائج أفضل من نموذج أقوى.
- يلفت الانتباه أسلوب وضع مقيّمين محايدين من الطرف 3 داخل شركات الذكاء الاصطناعي. يذكر النص الأصلي أنه بعد أن وظفت Anthropic شركة الاستشارات Accenture كأول مقيّم لها، وجهت انتقادات إلى مؤهلاتها.
O: هذا مفيد لمخطط يراجع نتائج نماذج الذكاء الاصطناعي قبل أن يقرر اعتمادها، ويتحقق مما إذا كانت ظروف القياس وإعداد الاختبار مكتوبة بجانب نتائج المعيار.
X: يكتفي النص الأصلي بنقل تصريح سوليمان بأن أساليب التقييم ما زالت في طور التطور، ولا يحكم بأن معيارا معينا خاطئ، وينبغي تذكر ذلك.