AIエージェントの長期記憶に外部文書の悪意ある指示は保存されるのか、AWS AgentCore Memoryの実験(zenn.dev)
書く言語: 韓国語書かれた言語で読む
わかりやすい要約
- AIエージェントが会話から重要な内容を選んで記憶する機能に、外部文書へ隠した悪い指示が入り込むかどうかを、日本のZenn筆者がAWS AgentCore Memoryで実験した。架空の顧客と模擬資料を使った。
- 顧客Aの報告書を書くときに顧客Bの資料も読むよう求める英語の文が、「ユーザーの好み」として保存された。権限外の要求が、報告書作成の習慣のように整理された。
- 保存前の検査では、Prompt Attack(プロンプト攻撃検知)フィルターはこの文を検出できなかった。顧客間の資料参照を禁止するDenied Topics(禁止トピック)を追加すると、ブロックされた。保存を止める処理は筆者がアプリ側で実装した。
- 汚染された記憶を新しいセッションに渡し、それぞれ5回、合計10回実行したが、顧客Bの資料を求める動きはなかった。理由は特定できていない。筆者は文書一つだけを試験したもので、誤検知や回避の可能性があると述べている。
掲載元
Zenn ↗ / 掲載記事
似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。