- Irene Solaiman, directora de políticas de Hugging Face, dijo en un debate del evento TechCrunch Disrupt que los métodos de evaluación de modelos de IA todavía están en desarrollo.
- Solaiman explicó que, para confiar en los resultados de la evaluación, importa la reproducibilidad, es decir, si se pueden obtener de nuevo los mismos resultados, y que la publicación de los pesos abiertos influye mucho en ello.
- El objeto de la evaluación se está ampliando desde el modelo en sí hacia el arnés (el entorno de herramientas con el que los usuarios acceden al modelo) y todo el agente. Solaiman afirmó que las diferencias en el arnés pueden hacer que un modelo más débil obtenga mejores resultados que uno más fuerte.
- Está llamando la atención el método de situar a evaluadores neutrales de la 3.ª parte dentro de las empresas de IA. El texto original indica que, tras contratar Anthropic a la consultora Accenture como su primera evaluadora, hubo críticas sobre sus credenciales.
O: Es útil para un planificador que revisa las puntuaciones de modelos de IA antes de decidir si los adopta y comprueba si las condiciones del entorno de medición y del arnés aparecen junto a los resultados del benchmark.
X: El texto original solo transmite la declaración de Solaiman de que los métodos de evaluación todavía están en desarrollo. No determina qué benchmark es incorrecto, y conviene tenerlo presente.