ハグging Faceの政策責任者、AI評価の手法はまだ成熟しておらず独立した評価者も容易ではないと発言(techcrunch.com)

- ハグging Faceの首席政策責任者アイリーン・ソライマンは、TechCrunch Disruptのイベントでの討論で、AIモデルの評価手法はまだ発展途上だと述べた。 - ソライマンは、評価結果を信頼するには再現性、つまり同じ結果を再び得られるかどうかが重要であり、オープンウェイトの公開有無がこれに大きく影響すると説明した。 - 評価の対象はモデル自体から、ハーネス(ユーザーがモデルにアクセスするためのツール環境)やエージェント全体へと広がっている。ソライマンは、ハーネスの違いによって、弱いモデルが強いモデルより良い結果を出すことがあると述べた。 - AI企業の内部に中立な3者の評価者を置く方式が注目されている。原文によると、アンソロピックが最初の評価者としてコンサルティング会社アクセンチュアを雇った後、その資格について批判があったという。