Find XO: Goodfireが、AIエージェントの内部信号を読んで監視する低コストツールを公開(techcrunch.com)

- AIエージェントが誤った行動をしていないかは、通常ほかのAIが結果を読み直して確認する。Goodfireは、モデルが作業中に内部で計算する信号を、小さな検知器であるプローブで読み取る方式を打ち出したと発表した。 - 同社のテストでは、Kimi K3モデルのセッション1,500個を監視する費用は約51ドルだった。同じ作業を各段階ごとに確認する安価なAIモデルで行うと233ドル、最上位モデルでは約1万ドルかかると同社は説明した。 - 同じテストでは、悪意のあるハッキングセッションの94%を検出し、無害なセッションの8.7%を追加検討に回した。プローブ4個を同時に動かしても、モデルが応答を始めるまでの時間は2%未満しか延びなかったと同社は述べた。 - Basetenの顧客は、監視対象としてハッキング、生物化学兵器の悪用、報酬ハッキングから選べ、発見時の対応は記録、人による確認、リクエストの拒否から決められる。