Goodfireが、AIエージェントの内部信号を読んで監視する低コストツールを公開(techcrunch.com)
書く言語: 韓国語書かれた言語で読む
わかりやすい要約
- AIエージェントが誤った行動をしていないかは、通常ほかのAIが結果を読み直して確認する。Goodfireは、モデルが作業中に内部で計算する信号を、小さな検知器であるプローブで読み取る方式を打ち出したと発表した。
- 同社のテストでは、Kimi K3モデルのセッション1,500個を監視する費用は約51ドルだった。同じ作業を各段階ごとに確認する安価なAIモデルで行うと233ドル、最上位モデルでは約1万ドルかかると同社は説明した。
- 同じテストでは、悪意のあるハッキングセッションの94%を検出し、無害なセッションの8.7%を追加検討に回した。プローブ4個を同時に動かしても、モデルが応答を始めるまでの時間は2%未満しか延びなかったと同社は述べた。
- Basetenの顧客は、監視対象としてハッキング、生物化学兵器の悪用、報酬ハッキングから選べ、発見時の対応は記録、人による確認、リクエストの拒否から決められる。
掲載元
TechCrunch ↗ / 掲載記事
似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。