AI 에이전트 장기 기억에 외부 문서의 악성 지시가 저장될까, AWS AgentCore Memory 실험(zenn.dev)
작성 언어: 한국어작성 언어로 보기
쉬운 요약
- AI 에이전트가 대화에서 중요한 내용을 골라 기억해 두는 기능에, 외부 문서에 숨긴 나쁜 지시가 들어가는지 일본 Zenn 필자가 AWS AgentCore Memory로 실험했다. 가상 고객과 모의 자료를 썼다.
- 고객 A 보고서를 쓸 때 고객 B 자료도 읽으라는 영어 문장이 '사용자의 선호'로 저장됐다. 권한 밖 요구가 보고서 작성 습관처럼 정리됐다.
- 저장 전 검사에서 Prompt Attack(프롬프트 공격 탐지) 필터는 이 문장을 잡지 못했다. 고객 간 자료 참조를 금지하는 Denied Topics(금지 주제)를 추가하자 차단됐다. 저장을 멈추는 처리는 필자가 앱 쪽에서 구현했다.
- 오염된 기억을 새 세션에 넘겨 5회씩 총 10회 실행했으나 고객 B 자료 요청은 없었다. 이유는 특정하지 못했다. 필자는 문서 하나만 시험했고 오탐과 우회 가능성이 있다고 밝혔다.
발견한 곳
Zenn ↗ / 매체 발행 글
비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.