허깅페이스 정책 책임자 AI 평가 방식은 아직 성숙하지 않았고 독립 평가자 방식도 쉽지 않다고 말해(techcrunch.com)

- 허깅페이스의 수석 정책 책임자 아이린 솔라이만은 TechCrunch Disrupt 행사 토론에서 AI 모델 평가 방식이 아직 발전 중이라고 말했다. - 솔라이만은 평가 결과를 믿으려면 같은 결과를 다시 얻을 수 있는지, 즉 재현성이 중요하며 오픈 웨이트 공개 여부가 이에 큰 영향을 준다고 설명했다. - 평가 대상이 모델 자체에서 하네스(사용자가 모델에 접근하는 도구 환경)와 에이전트 전체로 넓어지고 있다. 솔라이만은 하네스 차이로 약한 모델이 강한 모델보다 나은 결과를 낼 수 있다고 말했다. - AI 기업 안에 중립적인 제3자 평가자를 두는 방식이 주목받고 있다. 원문은 앤트로픽이 컨설팅사 액센츄어를 첫 평가자로 고용한 뒤 자격에 대한 비판이 있었다고 전한다.