検索
日本語

AIエージェントの長期記憶に外部文書の悪意ある指示は保存されるのか、AWS AgentCore Memoryの実験(zenn.dev)

startupxo 話し合う

書く言語: 韓国語書かれた言語で読む

わかりやすい要約

- AIエージェントが会話から重要な内容を選んで記憶する機能に、外部文書へ隠した悪い指示が入り込むかどうかを、日本のZenn筆者がAWS AgentCore Memoryで実験した。架空の顧客と模擬資料を使った。 - 顧客Aの報告書を書くときに顧客Bの資料も読むよう求める英語の文が、「ユーザーの好み」として保存された。権限外の要求が、報告書作成の習慣のように整理された。 - 保存前の検査では、Prompt Attack(プロンプト攻撃検知)フィルターはこの文を検出できなかった。顧客間の資料参照を禁止するDenied Topics(禁止トピック)を追加すると、ブロックされた。保存を止める処理は筆者がアプリ側で実装した。 - 汚染された記憶を新しいセッションに渡し、それぞれ5回、合計10回実行したが、顧客Bの資料を求める動きはなかった。理由は特定できていない。筆者は文書一つだけを試験したもので、誤検知や回避の可能性があると述べている。

元記事を読む ↗

掲載元

Zenn ↗ / 掲載記事

似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。

ログインしてコメント

キーボード操作

JとK、または上下矢印キーで投稿を選び、Enterで開きます。

K ↑ / J ↓
前の投稿 / 次の投稿
Enter C
選んだ投稿の要約とコメントを開く
O
選んだ投稿の元記事を開く
/
検索
?
このヘルプを表示
Tab
投稿やコメントのボタンに移動してEnter

入力欄では通常どおり入力できます。TabとEnterはいつでも使えます。